احصل على شهادة — 34.29 دولارًا12 دولارًا
هندسة البيانات: ETL ومستودعات البيانات وdbt وAirflow
صمّم وشغّل خط بيانات حديثًا: اختر بين ETL وELT، وابنِ نموذجًا نجميًا، وأنشئ نماذج dbt واختبرها، وجدولها في Airflow، وتحكّم في الجودة والتكلفة والحوكمة.
ماذا ستتعلّم
- وصف دورة حياة هندسة البيانات والاختيار بين المعالجة الدفعية والتدفقية، وبين ETL وELT.
- تصميم عملية استيعاب موثوقة: تحميل تزايدي والتقاط التغييرات وإعادة تشغيل متكافئة الأثر وصيغ ملفات مناسبة.
- نمذجة عملية عمل بنموذج نجمي: تحديد الحبيبية وبناء الحقائق والأبعاد ومعالجة الأبعاد بطيئة التغيّر.
- المقارنة بين مستودعات البيانات السحابية وبحيرات البيانات وبيوت البحيرات، وتنظيم البيانات في طبقات مع التجزئة وصيغ الجداول المفتوحة.
- بناء التحويلات في dbt واختبارها وتوثيقها باستخدام المصادر وref وأنماط التجسيد والاختبارات واللقطات.
- تنسيق خطوط البيانات بـ Airflow: كتابة Dag وضبط الجدولة وإعادة المحاولة واستخدام الأصول وتشغيل الملء الرجعي بأمان.
- تطبيق فحوص جودة البيانات والمراقبة والحوكمة وضبط التكلفة على خط بيانات في بيئة الإنتاج.
وحدات
- دورة حياة هندسة البيانات
- استيعاب موثوق للبيانات
- النمذجة البُعدية
- المستودعات والبحيرات وبيوت البحيرات
- التحويلات باستخدام dbt
- التنسيق باستخدام Airflow
- الجودة والحوكمة والتكلفة
بطاقة الدورة
- مدة الدراسة التقديرية
- نحو 60 دقيقة
- التقييم النهائي
- 42 سؤالاً · درجة النجاح 75%
- متاحة بـ
- English, Français, العربية
- السعر
- مجانية. شهادة قابلة للتحقق اختيارية: 19 دولارًا
- آخر تحديث
- الناشر
- AMAADOR ACADEMY
لمن هذه الدورة
المبتدئون ومهندسو البيانات الصغار، ومهندسو التحليلات، ومطورو ذكاء الأعمال، ومحللو البيانات الراغبون في الانتقال إلى الهندسة، وفرق تقنية المعلومات التي تبني خطوط البيانات أو تراجعها.
المتطلبات المسبقة
معرفة عملية بلغة SQL (الربط والتجميع) وأساسيات بايثون. لا تلزم خبرة سابقة في dbt أو Airflow.
محتوى الدورة
1. دورة حياة هندسة البيانات
يبني مهندس البيانات الأنظمة التي تنقل البيانات من مكان نشأتها إلى حيث يستخدمها الأشخاص والنماذج، ويشغّلها. وأيًا كانت الأدوات، يمرّ العمل بخمس مراحل.
المراحل الخمس. ويرافقها في كل مرحلة الأمن وإدارة البيانات والتنسيق والتكلفة.
المصادر هي التطبيقات وقواعد البيانات والملفات وواجهات API والمستشعرات وتدفقات الأحداث. نادرًا ما تملكها، لذلك تعامل معها على أنها غير موثوقة: فالمخططات تتغير دون إنذار، وتصل الحقول متأخرة أو فارغة.
الدفعي مقابل التدفقي هو أول قرار تصميم. المعالجة الدفعية تعالج مجموعة محدودة من البيانات وفق جدول زمني، أما التدفقية فتعالج الأحداث باستمرار فور وصولها.
| السؤال | دفعي | تدفقي |
|---|---|---|
| التأخير المعتاد | من دقائق إلى يوم | ثوانٍ أو أقل |
| التعقيد | أقل | أعلى (الترتيب والأحداث المتأخرة والحالة) |
| تكلفة التشغيل | تُدفع عن كل تشغيل | يعمل دائمًا |
| الاستخدام المناسب | التقارير المالية اليومية ومؤشرات الشهر | تنبيهات الاحتيال والمخزون الحي |
تذكّر: اسأل الجهة المستفيدة عن التأخير المقبول قبل الاختيار. معظم التقارير يكفيها النمط الدفعي، والتدفقي الذي لا يحتاجه أحد لا يزيد إلا التكلفة ونقاط الفشل.
تصف الأحرف ترتيب ثلاث خطوات: E الاستخراج من المصدر، وT التحويل، وL التحميل إلى الهدف.
| ETL | ELT | |
|---|---|---|
| مكان تنفيذ التحويل | على محرك منفصل قبل التحميل | داخل المستودع بعد التحميل |
| ما يُخزَّن | النتيجة المنظّفة فقط | البيانات الخام مع الطبقات المنمذجة |
| نقطة القوة | إزالة الحقول الحساسة قبل وصولها | بداية سريعة وقابلية إعادة التشغيل وأساسه SQL |
| نقطة الضعف | يصعب إعادة تشغيله عند تغيّر المنطق | يجب حماية البيانات الخام وتستهلك مساحة تخزين |
2. استيعاب موثوق للبيانات
يقوم الاستيعاب بنسخ البيانات من مصدر إلى منصتك. وطريقة النسخ تحدد التكلفة والتأخير وهل تُكتشف الصفوف المحذوفة.
| الطريقة | آلية العمل | ما يجب الانتباه إليه |
|---|---|---|
| تحميل كامل | نسخ الجدول كله في كل تشغيل | بطيء ومكلف مع نمو الجداول، ويصلح للبيانات المرجعية الصغيرة |
| تزايدي بالطابع الزمني | نسخ الصفوف التي يتجاوز updated_at فيها وقت آخر تشغيل | لا يرى الحذف الفعلي، ويحتاج عمودًا موثوقًا هو updated_at |
| التقاط تغييرات البيانات (CDC) | قراءة سجل معاملات قاعدة البيانات وإصدار كل إدراج وتحديث وحذف | يحتاج صلاحيات على القاعدة وعناية عند تغيّر المخطط |
يلتقط CDC عمليات الحذف والترتيب الدقيق للتغييرات بحمل خفيف على المصدر لأنه يقرأ السجل بدل استعلام الجداول. وتستخدم أدوات مفتوحة المصدر مثل Debezium وموصلات مُدارة من مزوّدي الاستيعاب هذا الأسلوب مع قواعد مثل PostgreSQL وMySQL.
- اختر مفتاحًا — حدد المفتاح الأساسي لكل جدول مصدر.
- اختر مؤشرًا — العمود الذي يتقدم دائمًا مثل updated_at أو موضع في السجل.
- خزّن نقطة الاستئناف — احفظ آخر قيمة حُمّلت بعد نجاح التحميل فقط.
- تداخل مقصود — أعد تحميل نافذة صغيرة كآخر ساعتين، وأزل التكرار بالمفتاح.
- خزّنه خامًا — اكتب ما وصلك كما هو مع طابع زمني للتحميل قبل أي تنظيف.
3. النمذجة البُعدية
يطرح المحللون أسئلة مثل «المبيعات حسب الشهر والمنطقة والمنتج». والنموذج النجمي يجيب عنها بسرعة ووضوح: جدول حقائق مركزي للأحداث القابلة للقياس تحيط به جداول أبعاد تصفها. ويعود الأسلوب إلى النمذجة البُعدية لرالف كيمبال.
يحمل جدول الحقائق مفاتيح وأرقامًا، وتحمل الأبعاد الأوصاف التي يُرشَّح ويُجمَّع بها.
- اختر عملية العمل — مثل تنفيذ الطلبات لا «قسم المبيعات».
- حدد الحبيبية — قل في جملة واحدة ماذا يمثل الصف: «صف لكل بند طلب».
- اختر الأبعاد — من وماذا وأين ومتى التي تصف كل صف.
- اختر الحقائق — الأرقام عند تلك الحبيبية مثل الكمية والمبلغ الصافي.
الحبيبية (grain) أهم قرار. يجب أن يكون كل عمود في جدول الحقائق صحيحًا عند تلك الحبيبية. وخلط الحبيبيات، كوضع هدف شهري بجوار مبلغ بند طلب، يسبب العدّ المزدوج.
| نوع المقياس | هل يُجمع؟ | مثال |
|---|---|---|
| جمعي | عبر كل الأبعاد | الكمية والمبلغ الصافي |
| شبه جمعي | ليس عبر الزمن | رصيد الحساب ومستوى المخزون |
| غير جمعي | لا يُجمع أبدًا، بل يُعاد حسابه من مكوناته | سعر الوحدة والنسب |
تذكّر: اكتب الحبيبية أولًا في جملة واحدة، واختبر كل عمود جديد عليها.
ينتقل عميل من الدار البيضاء إلى ليون، وكانت مبيعات العام الماضي قد تمت في الدار البيضاء. هل يجب أن يُظهر تقرير مبيعات العام الماضي ليون الآن؟ الجواب هو سياسة البعد بطيء التغيّر (SCD) تُختار لكل سمة على حدة.
4. المستودعات والبحيرات وبيوت البحيرات
تهيمن ثلاثة أنماط تخزين على المنصات الحديثة، وهي تتداخل أكثر كل عام، فاحكم عليها بما تحتاج إلى فعله لا بالمسمى.
| مستودع البيانات | بحيرة البيانات | بيت البحيرة (Lakehouse) | |
|---|---|---|---|
| البيانات المحفوظة | جداول منظمة ومنمذجة | أي ملفات: جداول وسجلات وصور وJSON | ملفات في تخزين رخيص مع طبقة جداول فوقها |
| الاستعلام | SQL | Spark وبايثون ومحركات SQL | SQL وSpark على الجداول نفسها |
| المعاملات | نعم، مدمجة | لا، ملفات فقط | نعم، من صيغة الجدول |
| أمثلة | Snowflake وBigQuery وAmazon Redshift | ملفات على Amazon S3 أو Google Cloud Storage أو Azure Data Lake Storage | Databricks وMicrosoft Fabric وجداول Iceberg على تخزين الكائنات |
مستودعات السحابة عمودية: يُخزَّن كل عمود ويُضغط على حدة، فالاستعلام الذي يحتاج ثلاثة أعمدة من خمسين يقرأ هذه الثلاثة فقط. وهي أيضًا تفصل التخزين عن الحوسبة، فتضيف قدرة حوسبة لمهمة ثقيلة وتتوقف عن الدفع عند انتهائها.
ميزتان تتحكمان في تكلفة الاستعلام وسرعته:
- التجزئة (Partitioning) تقسم الجدول بحسب عمود، غالبًا تاريخ، فيتجاوز الترشيح على هذا العمود أقسامًا كاملة.
- التجميع أو الفرز (Clustering) يرتب البيانات داخل الأقسام بحسب أعمدة كثيرة الترشيح، فتُقرأ كتل أقل.
افعل
- جزّئ جداول الحقائق الكبيرة بتاريخ الحدث
- اختر الأعمدة اللازمة فقط
- رشّح على عمود التجزئة في كل استعلام
5. التحويلات باستخدام dbt
يحوّل dbt استعلامات SQL من نوع SELECT إلى جداول وعروض داخل مستودعك، مع التحكم في الإصدارات والاختبارات والتوثيق. وهو يؤدي خطوة T في ELT ولا يستخرج البيانات ولا يحمّلها. يصدر dbt في خطين: dbt v1 المبني بلغة بايثون (الإصدار v1.12 في توثيق 2026) وdbt v2 الأحدث. والمفاهيم أدناه واحدة فيهما.
- عرّف المصادر — اذكر الجداول الخام في ملف YAML لتشير إليها النماذج بـ source() ويمكن فحص حداثتها.
- اكتب نماذج التهيئة (staging) — نموذج لكل جدول مصدر: إعادة تسمية وتحويل أنواع فقط. مثال: يختار stg_orders من source('shop', 'orders').
- اكتب النماذج الوسيطة ونماذج marts — اربط وجمّع مع الإشارة إلى النماذج الأخرى بـ ref('stg_orders').
- شغّل dbt build — يستنتج dbt الترتيب من استدعاءات ref() ثم ينفذ النماذج والاختبارات والبذور واللقطات بحسب التبعيات.
دالة ref() قلب dbt. فهي تبني رسم التبعيات (DAG) وتحدد المخطط الصحيح لكل بيئة وتتيح اختبار التغييرات في مخطط تطوير دون المساس بالإنتاج.
يحدد نمط التجسيد (materialization) كيف يُخزَّن النموذج:
| النمط | ما يُنشأ | متى يُستخدم |
|---|---|---|
| view | استعلام محفوظ | نماذج التهيئة الخفيفة |
| table | جدول يُعاد بناؤه كل تشغيل | نماذج marts التي تستعلم عنها لوحات المعلومات كثيرًا |
| incremental | تُعالج الصفوف الجديدة أو المتغيرة فقط | جداول الأحداث الكبيرة |
| ephemeral | تعبير CTE داخل النماذج التي تستخدمه | خطوات صغيرة قابلة لإعادة الاستخدام |
6. التنسيق باستخدام Airflow
يقرر المنسِّق (orchestrator) ما يُشغَّل ومتى وبأي ترتيب وما يحدث عند الفشل. وApache Airflow من أوسع المنسّقات مفتوحة المصدر انتشارًا؛ وآخر إصدار في الإعلانات الرسمية هو 3.4.0 (6 نوفمبر 2026). تصف سير العمل كـ Dag (رسم موجّه غير دوري) بلغة بايثون: المهام عُقد والتبعيات أسهم، دون حلقات.
| المفهوم | المعنى |
|---|---|
| Dag | سير العمل: المهام والتبعيات والجدولة |
| المهمة (Task) | وحدة عمل واحدة تُكتب بمشغّل أو بمزخرف TaskFlow @task |
| Dag run | تنفيذ واحد للـ Dag لتاريخ منطقي واحد |
| إعادة المحاولة (Retries) | عدد مرات إعادة محاولة المهمة الفاشلة وبعد أي مهلة |
| المستشعر (Sensor) | مهمة تنتظر شرطًا، مثل وصول ملف |
في Airflow 3 تستورد اللبنات من airflow.sdk (dag وtask وAsset). أُزيلت ميزات قديمة: حلّ logical_date محل execution_date، وحلّت مجموعات المهام والأصول محل SubDAGs، وأصبحت قيمة catchup الافتراضية False فلا يطلق Dag جديد مئات التشغيلات الماضية بصمت.
- سمِّه — dag_id واضح مثل daily_sales_pipeline.
- اضبط الجدولة — سلسلة cron أو إعدادًا جاهزًا مثل @daily أو أصلًا تنتظره.
- أضف المهام — استخراج وتحميل وdbt وفحص الجودة.
- أضف المحاولات والتنبيهات — مثل 3 محاولات بمهلة وإشعار فشل.
- حدد التبعيات — الاستخراج قبل التحميل قبل التحويل.
7. الجودة والحوكمة والتكلفة
خط بيانات يعمل بنجاح لكنه يسلّم أرقامًا خاطئة أسوأ من خط يفشل، لأن أحدًا لا يلاحظ. وتُفحص الجودة بأبعاد يمكن قياسها.
| البعد | السؤال | فحص معتاد |
|---|---|---|
| الاكتمال | هل ينقص شيء؟ | not_null وعدد الصفوف مقارنة بالمصدر |
| التفرد | هل من تكرار؟ | unique على المفتاح |
| الصلاحية | هل القيمة مسموحة؟ | accepted_values والنطاقات والصيغ |
| الحداثة | هل هي حديثة بما يكفي؟ | حداثة المصدر ومواعيد تشغيل الـ Dag |
| الاتساق | هل تتفق الجداول؟ | relationships ومجاميع تتطابق |
ضع الفحوص حيث يكون التصرف أرخص: عند الوصول (المخطط وعدد الصفوف والحداثة) وأثناء التحويل (اختبارات dbt) وقبل التقديم (مطابقة مع إجمالي المالية). وعند فشل فحص حرج أوقف التدفق ونبّه مسؤولًا محددًا بدل نشر بيانات سيئة مع تحذير لا يقرؤه أحد.
عقد البيانات اتفاق مكتوب بين الفريق المنتج للبيانات والفرق المستهلكة لها: المخطط ومعنى الحقول والحداثة وجهة الاتصال. فيحوّل «غيّر المصدر عمودًا» من مفاجأة إلى تغيير مُدار.
تضيف المراقبة (observability) الرؤية: سجل التشغيلات وأعداد الصفوف عبر الزمن والحداثة والنسب (lineage) التي تبيّن أي لوحات تعتمد على أي جداول، فتعرف من يتأثر قبل أن تغيّر شيئًا.
حالة: مع نتائج الربع الأول من 2022 (10 مايو 2022) ذكرت شركة Unity Technologies أن عطلًا في المنصة واستيعاب بيانات سيئة من عميل كبير أضعفا دقة أداتها الإعلانية Audience Pinpointer، بأثر مقدّر بنحو 110 ملايين دولار على إيرادات 2022، وأوضحت أن الأثر كله لا يعود إلى بيانات ذلك العميل وحدها (مكالمة النتائج وإيداعات الشركة لدى SEC). والتحقق من المدخلات وتنبيهات الشذوذ على البيانات المستوعَبة هي الضوابط التي تعالج الجزء المتعلق بالبيانات من هذا النوع من الإخفاق.
يتواصل الدرس كاملاً في الدورة التفاعلية على هذه الصفحة.
المصادر والمراجع
- Apache Airflow documentation
- dbt documentation: build, tests and snapshots
- Dimensional modeling techniques
- Apache Iceberg documentation
- Apache Parquet file format
- Delta Lake documentation
- General Data Protection Regulation (EU) 2016/679
- FinOps Framework
دورة تعليمية مستقلة عن أي مزوّد. جرى التحقق من إصدارات الأدوات وميزاتها في التوثيق الرسمي في نوفمبر 2026 (Apache Airflow 3.4 وdbt v1.12 وv2)، وهي تتغير بسرعة، فراجع التوثيق الحالي قبل البناء. النقاط القانونية (GDPR والقانون المغربي 09-08) تمهيد وليست استشارة قانونية، فأشرك مسؤول حماية البيانات. تُذكر أسماء المنتجات لشرح المفاهيم فقط.