هل تحتاج شركتكم إلى Data warehouse؟
ما هو Data warehouse، وما الفرق بينه وبين قاعدة البيانات وبحيرة البيانات، ومتى تحتاج إليه الشركات الصغيرة، وكيف يُنشأ بإعداد بسيط، وما الذي يحدد تكلفة تشغيله.


يستغرق إعداد تقريركم الشهري ثلاثة أيام. فالمبيعات تأتي من نظام إدارة علاقات العملاء (CRM)، والفواتير من البرنامج المحاسبي، والمخزون من نظام تخطيط موارد المؤسسات (ERP)، ثم يجمع أحد الموظفين كل ذلك في Excel. وعندما يعرض شخصان الرقم نفسه، نادراً ما يتطابق الرقمان.
في هذه اللحظة غالباً ما يُطرح موضوع Data warehouse للشركات الصغيرة. فهل هو حل حقيقي أم أداة لا تناسب إلا الشركات الكبرى؟ نشرح في هذا المقال ما هو Data warehouse وما ليس هو، والعلامات التي تدل على حاجتكم إليه، وطريقة بسيطة لإنشائه في الشركات الصغيرة والمتوسطة، وأساسيات حفظ السجل التاريخي، والعوامل التي تحدد تكلفة تشغيله.
ما هو Data warehouse؟
Data warehouse قاعدة بيانات مصممة لمهمة واحدة: الإجابة عن الأسئلة المتعلقة بنشاط شركتكم. فهو يجمع نسخاً من بيانات أدواتكم التشغيلية، وينظفها، ويمنحها شكلاً موحداً، ويحتفظ بتاريخها. ثم تقرأ التقارير و Dashboards من مكان واحد بدلاً من الرجوع إلى كل أداة على حدة.
الكلمة المفتاحية هنا هي النسخ. فنظاما CRM و ERP والبرنامج المحاسبي تواصل عملها كالمعتاد، ويعمل المستودع إلى جانبها ويُحدَّث وفق جدول زمني، غالباً كل ليلة.
الفرق بين Data warehouse وقاعدة البيانات
لكل تطبيق قاعدة بياناته الخاصة، وهي مصممة لتسجيل العمليات بسرعة وأمان: طلب واحد، أو فاتورة واحدة، أو تغيير عنوان. وغالباً لا تحتفظ إلا بالحالة الراهنة، ويتبع هيكلها شاشات التطبيق لا أسئلتكم.
أما المستودع فمصمم لقراءة كميات كبيرة من البيانات وللمقارنة: هذا الربع بالربع السابق، ومنطقة بأخرى. وهو يربط بيانات عدة أدوات، ويتذكر ما كانت عليه في الماضي.
الفرق بين Data warehouse وبحيرة البيانات
تخزّن بحيرة البيانات (Data Lake) ملفات خاماً من أي نوع كما تصل: ملفات تصدير، وسجلات، ومستندات. ملؤها قليل التكلفة، لكن لا بد من تفسير الملفات في كل مرة تُستخدم فيها. أما المستودع فيخزّن بيانات منظمة ومدققة بتعريفات متفق عليها. وبالنسبة لمعظم الشركات الصغيرة والمتوسطة، التي تدور أسئلتها حول المبيعات والهوامش والمخزون والسيولة، فإن المستودع هو الجزء المفيد.
وماذا عن ملفات Excel المصدّرة؟
إنها نقطة البداية لدى معظم الشركات، وليست خطأ. لكن حدودها تظهر مع النمو: خطوات يدوية لا يعرفها إلا شخص واحد، ومعادلات تتعطل عند تحريك عمود، وغياب السجل التاريخي إلا ما حُفظ من ملفات، وأكثر من نسخة للحقيقة.
| قاعدة بيانات التطبيق | ملف Excel مصدّر | بحيرة البيانات | Data warehouse | |
|---|---|---|---|---|
| الغرض | تشغيل العمل اليومي | تحليل عند الحاجة | تخزين البيانات الخام | التقارير والتحليل |
| المصادر | تطبيق واحد | بضعة ملفات تصدير | مصادر عديدة، خام | مصادر عديدة، منقّاة |
| السجل التاريخي | الحالة الراهنة فقط | ما حُفظ من ملفات | ما خُزّن | مصمم منذ البداية |
| التعريفات | خاصة بالتطبيق | خاصة بكل شخص | لا شيء افتراضياً | متفق عليها وموثقة |
قائمة القرار: هل تحتاجون إلى Data warehouse؟
ضعوا علامة أمام العبارات الصحيحة بالنسبة لشركتكم اليوم.
- تجمع تقاريركم الرئيسية بيانات من ثلاث أدوات أو أكثر.
- يقضي أحد الموظفين عدة أيام كل شهر في التصدير واللصق والتحقق من الأرقام.
- يقدّم قسمان أرقاماً مختلفة للمؤشر نفسه.
- لا تستطيعون الإجابة عن سؤال يتعلق بالماضي، لأن أدواتكم لا تحتفظ إلا بالحالة الراهنة.
- تؤدي التقارير الثقيلة إلى إبطاء إحدى الأدوات أثناء عمل الفريق عليها.
- أنتم على وشك استبدال أداة وتريدون الاحتفاظ بسجلها التاريخي.
- تريد الإدارة Dashboard بتعريفات يقبلها الجميع.
كيف تقرؤونها: إذا لم تضعوا أي علامة أو وضعتم علامة واحدة، فالمستودع على الأرجح لا يستحق العناء بعد. وإذا وضعتم علامتين أو ثلاثاً، فابدؤوا بنطاق محدود وموضوع واحد، كالمبيعات. أما أربع علامات أو أكثر، فالمستودع على الأرجح هو الاستثمار المناسب، بشرط أن يكون له مسؤول.
ومتى لا تبنونه؟ إذا كان معظم نشاطكم يجري في تطبيق واحد، فقد تكفي تقاريره الخاصة للإجابة عن أسئلتكم اليومية. ففي مشروع قاده مؤسسنا أنس الشباب في مناصبه السابقة، حصل مكتب محاماة في سيدني على نظام CRM/ERP مخصص يستخدمه أكثر من 100 شخص، وخفّض وقت المعالجة بنسبة 40%. وحين تكون بياناتكم في نظام واحد جيد التصميم، فحسّنوا هذا النظام أولاً. فالمستودع يثبت قيمته عندما تمتد أسئلتكم عبر عدة أدوات.
Data warehouse بسيط للشركات الصغيرة والمتوسطة
لا تحتاج الشركة الصغيرة أو المتوسطة إلى منصة ضخمة ولا إلى فريق متفرغ. فالإعداد البسيط يتكون من أربعة أجزاء، ويمكن أن يبقى كل منها متواضعاً.
1. المصادر
اكتبوا قائمة بالأدوات التي تغذي أهم عشرة تقارير لديكم، ولا شيء غيرها. ولكل أداة، دوّنوا طريقة قراءة بياناتها: API، أو اتصال بقاعدة بياناتها، أو تصدير مجدول. والأداة التي لا توفر أياً من ذلك تمثل خطراً يحسن معرفته قبل البدء.
2. التحميل
تُنسخ البيانات وفق جدول زمني. وستسمعون عن ETL (الاستخراج ثم التحويل ثم التحميل) و ELT (الاستخراج ثم التحميل ثم التحويل داخل المستودع). وبالنسبة للشركات الصغيرة والمتوسطة، يكون ELT في الغالب أبسط: تُنسخ البيانات أولاً، ثم تُشكَّل بنصوص برمجية واضحة بلغة الاستعلام المهيكلة (SQL) تُحفظ في نظام لإدارة الإصدارات. وتوجد موصلات جاهزة لكثير من الأدوات الشائعة، ويغطي نص برمجي صغير مخصص الباقي.
3. النموذج
هنا تكمن القيمة: تحويل الجداول الخام إلى موضوعات واضحة، مثل الطلبات والعملاء والمنتجات، مع تعريف واحد متفق عليه لكل مؤشر.
4. التقارير
تقرأ Dashboards وأداة BI من المستودع. ولاختيار هذه الأداة، راجعوا معاييرنا لاختيار أداة BI، ولتحديد ما ينبغي أن تراه الإدارة، راجعوا مؤشرات الأداء في Dashboard الإدارة.
ابدؤوا بالموضوع الذي يسبب أكبر قدر من المتاعب، وتأكدوا من تطابق الأرقام مع ما يعتمده قسم المالية، ثم انتقلوا إلى الموضوع التالي. ويمكن تشغيل المستودع على خدمة قواعد بيانات في Cloud أو على خادم تديرونه أصلاً؛ وإذا كانت أدوات أخرى ستنتقل أيضاً، فإن خطة الانتقال إلى Cloud تساعدكم على ترتيب الخطوتين. ومنذ اليوم الأول، لا تنسخوا من البيانات الشخصية إلا ما تحتاج إليه تقاريركم فعلاً. وتعرض صفحة خبرتنا في البيانات و BI طريقتنا في هذه المشاريع.
السجل التاريخي ونموذج البيانات بلغة بسيطة
فكرتان تجعلان المستودع أنفع من كومة من الملفات المصدّرة.
الحقائق والأبعاد
تعتمد معظم مستودعات الشركات الصغيرة والمتوسطة شكلاً بسيطاً يُسمى المخطط النجمي. في الوسط جدول الحقائق: سطر لكل حدث تقيسونه، مثل سطر في طلب، مع الكميات والمبالغ. وحوله الأبعاد: من (العميل)، وماذا (المنتج)، ومتى (التاريخ)، وأين (الفرع). ثم تقسّم التقارير الحقائق حسب أي بُعد، ويسهل على فريق المالية متابعة منطقها.
الاحتفاظ بالسجل التاريخي
كثيراً ما تكتب الأدوات التشغيلية البيانات الجديدة فوق القديمة. فعندما يُنقل عميل إلى منطقة أخرى، تختفي المنطقة السابقة، وتتغير معها مبيعات العام الماضي حسب المنطقة. أما المستودع فيستطيع الاحتفاظ بالنسختين، لكل منهما تواريخ سريانها، وأخذ لقطات شهرية للمخزون أو للفواتير غير المسددة مثلاً. حددوا مبكراً الموضوعات التي تحتاج إلى ذلك، فالتاريخ الذي لم يُسجَّل لا يمكن إعادة بنائه.
مثال توضيحي (أرقام افتراضية): يعيد موزع لديه 20 مندوب مبيعات توزيع 200 عميل بين المناطق في يناير. من دون سجل تاريخي، تتغير مبيعات العام السابق حسب المنطقة بين ليلة وضحاها؛ ومع السجل التاريخي، تبقى كما نُشرت، ويظهر التغيير ابتداءً من يناير.
ما الذي يحدد تكلفة التشغيل؟
لا نذكر أسعار المنصات: فهي تتغير كثيراً وتعتمد على حجم بياناتكم. أما عوامل التكلفة فثابتة.
- الحوسبة: تحتسب معظم المستودعات العاملة على Cloud قدرة المعالجة التي يستهلكها التحميل والاستعلامات. والتحديثات المتكررة و Dashboards التي تعيد حساب كل شيء هي الأعلى تكلفة.
- التخزين: غالباً البند الأصغر بالنسبة للشركات الصغيرة والمتوسطة، حتى مع سنوات من السجل التاريخي.
- الموصلات: الجاهزة منها تُسعَّر غالباً حسب الحجم أو عدد المصادر؛ أما النصوص البرمجية المخصصة فتكلّف وقتاً بدلاً من ذلك.
- تراخيص BI: تُحتسب غالباً لكل مستخدم يُعدّ التقارير أو يطّلع عليها.
- الأشخاص: يتابع أحدهم عمليات التحميل، ويجيب عن الأسئلة، ويعدّل النموذج عندما تتغير أداة. وهذه غالباً أكبر تكلفة، وأكثرها نسياناً.
ثلاث عادات تضبط التكاليف: التحديث بالوتيرة التي تحتاج إليها القرارات فقط، وأرشفة ما لا يقرؤه أحد، ومراجعة استهلاك الاستعلامات كل شهر.
الأسئلة الشائعة
هل Data warehouse هو نفسه أداة BI؟
لا. المستودع يخزّن البيانات ويجهّزها، وأداة BI تعرضها في تقارير و Dashboards. ويمكنكم استخدام أداة BI دون مستودع، بالقراءة مباشرة من بضعة مصادر، وهذا يكفي غالباً في البداية. ويصبح المستودع مفيداً عندما تتعدد المصادر ويجب توحيد التعريفات. ويتناول دليلنا حول اختيار أداة BI جانب العرض.
هل يجب أن يكون Data warehouse على Cloud؟
لا. فهو قاعدة بيانات مصممة للتحليل، ويمكن تشغيله على خادم تديرونه أصلاً. ويسهّل Cloud البدء على نطاق صغير ثم التوسع، ويعفيكم من صيانة الأجهزة. ويعتمد الاختيار على مكان أدواتكم الأخرى، والقيود المفروضة على مكان تخزين بياناتكم، ومهارات فريقكم.
من يتولى صيانة Data warehouse بعد إنشائه؟
لا بد من مسؤول عنه: يتحقق من عمليات التحميل الليلية، ويصلح الموصل المعطل، ويحدّث النموذج عندما تتغير أداة. وفي الشركات الصغيرة والمتوسطة، قد يكون شخصاً من قسم المالية أو العمليات، بدعم تقني داخلي أو خارجي. ومن دون مسؤول، يبتعد المستودع تدريجياً عن الواقع، ويعود الجميع إلى جداول البيانات.
الخلاصة
يجمع Data warehouse نسخاً من بيانات أدواتكم، وينظفها، ويمنحها تعريفات موحدة، ويحتفظ بتاريخها، لتقرأ التقارير من مكان واحد موثوق. ولا حاجة إليه عندما يجري معظم نشاطكم في تطبيق واحد، لكنه يؤتي ثماره عندما تمتد التقارير الرئيسية عبر عدة أدوات ويستغرق إعدادها أياماً. ابدؤوا ببساطة: موضوع واحد، ومخطط نجمي، والسجل التاريخي الذي ستحتاجون إليه. وراقبوا الحوسبة والموصلات والتراخيص، وقبل كل شيء وقت الشخص المسؤول عنه.
هل ما زالت تقاريركم الشهرية تُجمع يدوياً من عدة أدوات؟ احجزوا مكالمة تعريفية مجانية مدتها 30 دقيقة: ندرس معاً مصادركم وتقاريركم، ونقول لكم بصراحة إن كان المستودع يستحق الاستثمار الآن.
خدمات ذات صلةData & BI
لنتحدث عنه في مكالمة تعريفية مدتها 30 دقيقة، مجاناً ودون أي التزام.
تابعوا AnazTech على LinkedIn لتصلكم مقالاتنا القادمة.المتابعة على LinkedIn






