دیتا والت چیست (بخش اول)

تعریف

مدل دیتا والت یک روش مدل سازی پایگاه داده است که برای ذخیره سازی داده های فراوان همراه با تاریخچه آنها از سیستم های مختلف عملیاتی طراحی شده است. در این روش همچنین امکان حسابرسی و ردیابی داده ها و زمان و مدت لود داده ها و همچنین انعطاف پذیری در مواجه با تغییرات مورد توجه ویژه قرار گرفته است. به این معنا که تمامی سطر های داده در دیتا والت باید حاوی اطلاعات ارتباط با منبع داده (جهت ردیابی داده در منابع داده) و همچنین مشخصات لود در دیتاوالت باشند.

در مدل دیتاوالت تفاوتی میان داده های خوب و بد وجود ندارد. (داده بد به این معنی که با قواعد کسب کار (Business Rule) مطابقت ندارد)  در یک جمله  دیتا والت “یک نسخه از واقعیت را نگه داری می کند” (“a single version of the facts”) .به قول dan linstedt : تمام داده ها در تمام زمانها (“all the data ,all of the time”). در سایر روش های انبار داده تاکید بر ” نگهداری یک نسخه از حقیقت است” (“a single version of the truth”) و داده هایی که با قواعد کسب و کار تطابق ندارند اصلاح می شوند و یا حذف می شوند.

این روش مدل سازی داده برای انعطاف پذیری در مقابل تغییرات محیط کسب کار که منابع داده در آن قرار دارد طراحی شده است ، در این روش اطلاعات ساختاری کاملا از اطلاعات توصیفی جدا هستند.

دیتا والت به نحوی طراحی شده است که لود همزمان (Parallel loading) در آن امکان پذیر است.

تاریخچه و فلسفه

در مدل سازی انبار داده تا پیش از این دو روش مهم برای لایه ذخیره ساز داده وجود داشت:

* مدل سازی بر اساس روش کیمبال(Ralph Kimball) بر پایه ابعاد سازگار (Conformed dimensions) و باس داده های سازمانی(Enterprise data bus).

* مدل سازی بر اساس روش اینمن (Bill Inmon) بر پایه طراحی نرمال

هر دو روش هنگام مواجهه با تغییرات در منابع تغذیع داده های انبار داده دچار مشکل می شوند. همچنین در روش ابعادی (Kimball) داده ها باید تمیز شوند (Data cleansing) که این در برخی موارد نامطلوب است زیرا باعث از دست دادن بعضی داده های موجود در سیستم های عملیاتی در انبارداده می شود. دیتاوالت برای جلو گیری از این تاثیر (از دست دادن داده ها درانبار داده) این کار (تمیز کردن داده ها) را به خارج از مرحله ای که وظیفه نگهداری تاریخچه داده های سازمانی را دارد انتقال داده است. همچنین برای کاهش اثرات تغییر در منابع تغذیه داده های انبار داده دیتا والت آیتم های ساختاری (کلید های کسب و کار و ارتباط بین آنها) را از آیتم های توصیفی جدا کرده است.

Dan Linstedt به عنوان خالق دیتا والت آنرا به اینصورت تعریف می کند

دیتا والت مجموعه‏ای است از جداول نرمال سازی شده که به یکدیگر لینک شده اند و قابلیت ردیابی تاریخچه تمام جزییات داده ها را در یک یا چند بخش کاربردی کسب کار فراهم می کنند . دیتا والت یک رویکرد ترکیبی است که بهترین ویژگی‏های الگوهای ۳nf و استار را دربرمی‏گیرد. این طراحی انعطاف پذیر، مقیاس پذیر و سازگار با نیازهای اینترپرایز است. همچنین دیتا مدلی است که به طور خاص برای پاسخگویی به نیازهای انبار داده‏های اینترپرایز امروزی معماری شده است.

فلسفه دیتا والت این است که تمامی داده ها معتبر هستند حتی اگر با قوانین کسب کار (Business Rule) مطابقت نداشته باشند. اگر داده ها با قواعد کسب کار تعریف شده همخوانی ندارند ، این مشکل کسب و کار است نه انبار داده.

تعیین اینکه داده ای اشتباه است ، یک تفسیر از یک نوع دیدگاه خاص است و ممکن است برای همه و در همه زمانها معتبر نباشد بنابراین دیتا والت باید همه داده ها را ذخیره کند و تنها هنگام گزارش یا استخراج داده ها از دیتا والت امکان تفسیر آنها را بدهد.

مسئله دیگری که در دیتا والت مورد توجه قرار می گیرد امکان ردیابی تمام داده ها در انبار داده است ، از این رو در هر پیاده سازی از دیتا والت تمرکز بر روی قابلیت اطمینان داده ها و امکان ردیابی داده است.

دیتا والت ۲٫۰ مجموعه ای است شامل تعریف اجزایی است که بهترین روش های پیاده سازی ، معماری و مدل سازی را توصیف می کند ،در دیتا والت ۲٫۰ تمرکز بر روی مواردی مانند Big Data و NoSQL و همچنین بهبود پرفورمنس لود در مدل دیتا والت است ، در حالی که در دیتا والت ۱٫۰ تمرکز بر روی مدل سازی و تعریف آن بود.

تاریخچه

دیتا والت در اصل توسط Dan Linstedt در سال ۱۹۹۰ ارائه شد و در سال ۲۰۰۰ به عنوان یک روش مدل سازی عمومی شد و در قالب پنج مقاله که در “Data Administration Newsletter” منتشر شد قواعد و مفاهیم دیتا والت و همچنین اجزاء مدل و بهترین روش های لود داده در مدل برای عموم تشریح شد.

نام دیگر دیتا والت (کمتر استفاده شده ) معماری مدل سازی یکپارچه سازمانی است.”Common Foundation Integration Modelling Architecture”

همچنین دیتا والت ۲٫۰ در سال ۲۰۱۳ ارائه شد .