انبار دادههای منطقی
انبار دادههای منطقی، یکی از موضوعات مورد بحث در سالهای اخیر بوده است. تاثیر انبار دادههای منطقی بر انبارسازی دادهها، موضوع بعدی مطرح شده در مصاحبه است (بخش اول مصاحبه را در اینجا مشاهده کنید).
Ari: آیا مجازیسازی دادهها (Data Virtualization) و مفهوم «انبار دادههای منطقی» تاثیر بزرگی بر انبارسازی دادهها دارند؟
Dan: در یک کلمه بله. این موضوع تماماً به حجم دادههایی که شما امروز دارید و قابلیتهای نرمافزاری و سختافزاری شما در لایه زیرین بازمیگردد. امروزه اگر تلاش کنید که یک انبار داده صرفاً منطقی ایجاد کنید، (به عنوان مثال تمام دادههای درون انبار داده مجازیسازی یا درونحافظهای شده باشند)، به مقدار دادههایی که با آن سروکار دارید، محدود خواهید شد. به عبارت دیگر، تلاش برای «مجازیسازی» در حافظه یک انبار داده، که ۵۰۰ ترابایت حجم دارد، امکانپذیر نیست.
در آینده، با رشد و تکامل فناوری، این موضوع نیز تغییر خواهد کرد. البته ابهاماتی هم در اینکه معنی «درون حافظه» (In Memory) چیست وجود دارد. به SSD فکر کنید:
- SSD حافظهای است (مبتنی بر حافظه فلش، که از مدارهای مجمتع برای ذخیره و بازیابی دادهها استفاده میکند و نه از دیسک، موتور و هد) که میتواند برروی باس دیسک سوار شود (که مسلماً کند است).
- با این حال کارایی SSD ده تا صد برابر دیسکهای استاندارد با ۷۵۰۰ rpm است.
با وجود این موارد، تنها به دلیل اینکه SSD حافظه است و من پایگاه دادهام را روی آن قراردادهام، آیا میتوان گفت که من کل انبار دادهام را مجازیسازی کردهام؟ درواقع خیر.
برای مجازیسازی درست، یا بهتر بگوییم برای ایجاد کردن یک انبار داده ۱۰۰% منطقی، شما باید ویوهایی را روی یک فضای استیجینگ (Staging Area) قرار دهید، سپس کوئریهای ad-hoc را در حالی که هزاران کاربر مدام به سراغ انبار دادهها میروند، به طرف این ویوها بفرستید. تنها در آن زمان است که میتوانید بگویید که شما انبارداده ۱۰۰% منطقی و مجازیسازیشده دارید.
این موضوع در آینده یک اجبار خواهد بود، نه سؤالی از جنس اگر ، بلکه بیشتر از جنس کی و چقدر زود!
پینوشت:
نقش هوش تجاری سلف سرویس (Self Service BI) در حال پررنگ تر شدن است. از طرفی امروزه ما با حجم زیادی از دادهها با سرعت و تنوع بالا مواجه هستیم که از منابع مختلف (شبکههای اجتماعی، دستگاههای موبایل، IOT ، ابرهای پردازشی و …) دریافت میشوند. این دادهها هرکدام بخشی از واقعیتهای مرتبط با کسبوکارها را در خود دارند. کاربران هوش تجاری سلف سرویس، توقع دارند که بلادرنگ (یا نزدیک به بلادرنگ) بتوانند این دادهها را تجزیه و تحلیل کنند. بدیهی است که در چنین فضایی، روشهای سنتی ساخت انبارداده، نمیتوانند همه انتظارات را برآورده سازند.
این موضوع باعث در پیش گرفتن رویکرد جدیدی تحت عنوان انبار دادههای منطقی (Logical Data Warehouses) شده است.انبار دادههای منطقی مکانیزمهای متنوعی را برای مشاهده دادههای داخل انبارداده (فیزیکی) و هر منبع داده دیگر فراهم میکنند (بدون اینکه قبل لحظه مشاهده دادهها به کاربر، زمان زیادی را برای بازنشانی و تغییر شکل دادهها در فرآیندهای ETL پیچیده و وقت گیر، صرف کرده باشند). در واقع،انبار دادههای منطقی، انباردادههای فیزیکی را تکمیل کرده و ارتقاء میدهند.