خصّص هذا التدريب

احصل على شهادة — 34.29 دولارًا12 دولارًا

هندسة البيانات: ETL ومستودعات البيانات وdbt وAirflow

هندسة البيانات: ETL ومستودعات البيانات وdbt وAirflow

صمّم وشغّل خط بيانات حديثًا: اختر بين ETL وELT، وابنِ نموذجًا نجميًا، وأنشئ نماذج dbt واختبرها، وجدولها في Airflow، وتحكّم في الجودة والتكلفة والحوكمة.

ماذا ستتعلّم

  • وصف دورة حياة هندسة البيانات والاختيار بين المعالجة الدفعية والتدفقية، وبين ETL وELT.
  • تصميم عملية استيعاب موثوقة: تحميل تزايدي والتقاط التغييرات وإعادة تشغيل متكافئة الأثر وصيغ ملفات مناسبة.
  • نمذجة عملية عمل بنموذج نجمي: تحديد الحبيبية وبناء الحقائق والأبعاد ومعالجة الأبعاد بطيئة التغيّر.
  • المقارنة بين مستودعات البيانات السحابية وبحيرات البيانات وبيوت البحيرات، وتنظيم البيانات في طبقات مع التجزئة وصيغ الجداول المفتوحة.
  • بناء التحويلات في dbt واختبارها وتوثيقها باستخدام المصادر وref وأنماط التجسيد والاختبارات واللقطات.
  • تنسيق خطوط البيانات بـ Airflow: كتابة Dag وضبط الجدولة وإعادة المحاولة واستخدام الأصول وتشغيل الملء الرجعي بأمان.
  • تطبيق فحوص جودة البيانات والمراقبة والحوكمة وضبط التكلفة على خط بيانات في بيئة الإنتاج.

وحدات

  1. دورة حياة هندسة البيانات
  2. استيعاب موثوق للبيانات
  3. النمذجة البُعدية
  4. المستودعات والبحيرات وبيوت البحيرات
  5. التحويلات باستخدام dbt
  6. التنسيق باستخدام Airflow
  7. الجودة والحوكمة والتكلفة

بطاقة الدورة

مدة الدراسة التقديرية
نحو 60 دقيقة
التقييم النهائي
42 سؤالاً · درجة النجاح 75%
متاحة بـ
English, Français, العربية
السعر
مجانية. شهادة قابلة للتحقق اختيارية: 19 دولارًا
آخر تحديث
الناشر
AMAADOR ACADEMY

لمن هذه الدورة

المبتدئون ومهندسو البيانات الصغار، ومهندسو التحليلات، ومطورو ذكاء الأعمال، ومحللو البيانات الراغبون في الانتقال إلى الهندسة، وفرق تقنية المعلومات التي تبني خطوط البيانات أو تراجعها.

المتطلبات المسبقة

معرفة عملية بلغة SQL (الربط والتجميع) وأساسيات بايثون. لا تلزم خبرة سابقة في dbt أو Airflow.

محتوى الدورة

1. دورة حياة هندسة البيانات

يبني مهندس البيانات الأنظمة التي تنقل البيانات من مكان نشأتها إلى حيث يستخدمها الأشخاص والنماذج، ويشغّلها. وأيًا كانت الأدوات، يمرّ العمل بخمس مراحل.

المراحل الخمس. ويرافقها في كل مرحلة الأمن وإدارة البيانات والتنسيق والتكلفة.

المصادر هي التطبيقات وقواعد البيانات والملفات وواجهات API والمستشعرات وتدفقات الأحداث. نادرًا ما تملكها، لذلك تعامل معها على أنها غير موثوقة: فالمخططات تتغير دون إنذار، وتصل الحقول متأخرة أو فارغة.

الدفعي مقابل التدفقي هو أول قرار تصميم. المعالجة الدفعية تعالج مجموعة محدودة من البيانات وفق جدول زمني، أما التدفقية فتعالج الأحداث باستمرار فور وصولها.

السؤالدفعيتدفقي
التأخير المعتادمن دقائق إلى يومثوانٍ أو أقل
التعقيدأقلأعلى (الترتيب والأحداث المتأخرة والحالة)
تكلفة التشغيلتُدفع عن كل تشغيليعمل دائمًا
الاستخدام المناسبالتقارير المالية اليومية ومؤشرات الشهرتنبيهات الاحتيال والمخزون الحي

تذكّر: اسأل الجهة المستفيدة عن التأخير المقبول قبل الاختيار. معظم التقارير يكفيها النمط الدفعي، والتدفقي الذي لا يحتاجه أحد لا يزيد إلا التكلفة ونقاط الفشل.

تصف الأحرف ترتيب ثلاث خطوات: E الاستخراج من المصدر، وT التحويل، وL التحميل إلى الهدف.

ETLELT
مكان تنفيذ التحويلعلى محرك منفصل قبل التحميلداخل المستودع بعد التحميل
ما يُخزَّنالنتيجة المنظّفة فقطالبيانات الخام مع الطبقات المنمذجة
نقطة القوةإزالة الحقول الحساسة قبل وصولهابداية سريعة وقابلية إعادة التشغيل وأساسه SQL
نقطة الضعفيصعب إعادة تشغيله عند تغيّر المنطقيجب حماية البيانات الخام وتستهلك مساحة تخزين

2. استيعاب موثوق للبيانات

يقوم الاستيعاب بنسخ البيانات من مصدر إلى منصتك. وطريقة النسخ تحدد التكلفة والتأخير وهل تُكتشف الصفوف المحذوفة.

الطريقةآلية العملما يجب الانتباه إليه
تحميل كاملنسخ الجدول كله في كل تشغيلبطيء ومكلف مع نمو الجداول، ويصلح للبيانات المرجعية الصغيرة
تزايدي بالطابع الزمنينسخ الصفوف التي يتجاوز updated_at فيها وقت آخر تشغيللا يرى الحذف الفعلي، ويحتاج عمودًا موثوقًا هو updated_at
التقاط تغييرات البيانات (CDC)قراءة سجل معاملات قاعدة البيانات وإصدار كل إدراج وتحديث وحذفيحتاج صلاحيات على القاعدة وعناية عند تغيّر المخطط

يلتقط CDC عمليات الحذف والترتيب الدقيق للتغييرات بحمل خفيف على المصدر لأنه يقرأ السجل بدل استعلام الجداول. وتستخدم أدوات مفتوحة المصدر مثل Debezium وموصلات مُدارة من مزوّدي الاستيعاب هذا الأسلوب مع قواعد مثل PostgreSQL وMySQL.

  1. اختر مفتاحًا — حدد المفتاح الأساسي لكل جدول مصدر.
  2. اختر مؤشرًا — العمود الذي يتقدم دائمًا مثل updated_at أو موضع في السجل.
  3. خزّن نقطة الاستئناف — احفظ آخر قيمة حُمّلت بعد نجاح التحميل فقط.
  4. تداخل مقصود — أعد تحميل نافذة صغيرة كآخر ساعتين، وأزل التكرار بالمفتاح.
  5. خزّنه خامًا — اكتب ما وصلك كما هو مع طابع زمني للتحميل قبل أي تنظيف.

3. النمذجة البُعدية

يطرح المحللون أسئلة مثل «المبيعات حسب الشهر والمنطقة والمنتج». والنموذج النجمي يجيب عنها بسرعة ووضوح: جدول حقائق مركزي للأحداث القابلة للقياس تحيط به جداول أبعاد تصفها. ويعود الأسلوب إلى النمذجة البُعدية لرالف كيمبال.

يحمل جدول الحقائق مفاتيح وأرقامًا، وتحمل الأبعاد الأوصاف التي يُرشَّح ويُجمَّع بها.

  1. اختر عملية العمل — مثل تنفيذ الطلبات لا «قسم المبيعات».
  2. حدد الحبيبية — قل في جملة واحدة ماذا يمثل الصف: «صف لكل بند طلب».
  3. اختر الأبعاد — من وماذا وأين ومتى التي تصف كل صف.
  4. اختر الحقائق — الأرقام عند تلك الحبيبية مثل الكمية والمبلغ الصافي.

الحبيبية (grain) أهم قرار. يجب أن يكون كل عمود في جدول الحقائق صحيحًا عند تلك الحبيبية. وخلط الحبيبيات، كوضع هدف شهري بجوار مبلغ بند طلب، يسبب العدّ المزدوج.

نوع المقياسهل يُجمع؟مثال
جمعيعبر كل الأبعادالكمية والمبلغ الصافي
شبه جمعيليس عبر الزمنرصيد الحساب ومستوى المخزون
غير جمعيلا يُجمع أبدًا، بل يُعاد حسابه من مكوناتهسعر الوحدة والنسب

تذكّر: اكتب الحبيبية أولًا في جملة واحدة، واختبر كل عمود جديد عليها.

ينتقل عميل من الدار البيضاء إلى ليون، وكانت مبيعات العام الماضي قد تمت في الدار البيضاء. هل يجب أن يُظهر تقرير مبيعات العام الماضي ليون الآن؟ الجواب هو سياسة البعد بطيء التغيّر (SCD) تُختار لكل سمة على حدة.

4. المستودعات والبحيرات وبيوت البحيرات

تهيمن ثلاثة أنماط تخزين على المنصات الحديثة، وهي تتداخل أكثر كل عام، فاحكم عليها بما تحتاج إلى فعله لا بالمسمى.

مستودع البياناتبحيرة البياناتبيت البحيرة (Lakehouse)
البيانات المحفوظةجداول منظمة ومنمذجةأي ملفات: جداول وسجلات وصور وJSONملفات في تخزين رخيص مع طبقة جداول فوقها
الاستعلامSQLSpark وبايثون ومحركات SQLSQL وSpark على الجداول نفسها
المعاملاتنعم، مدمجةلا، ملفات فقطنعم، من صيغة الجدول
أمثلةSnowflake وBigQuery وAmazon Redshiftملفات على Amazon S3 أو Google Cloud Storage أو Azure Data Lake StorageDatabricks وMicrosoft Fabric وجداول Iceberg على تخزين الكائنات

مستودعات السحابة عمودية: يُخزَّن كل عمود ويُضغط على حدة، فالاستعلام الذي يحتاج ثلاثة أعمدة من خمسين يقرأ هذه الثلاثة فقط. وهي أيضًا تفصل التخزين عن الحوسبة، فتضيف قدرة حوسبة لمهمة ثقيلة وتتوقف عن الدفع عند انتهائها.

ميزتان تتحكمان في تكلفة الاستعلام وسرعته:

  • التجزئة (Partitioning) تقسم الجدول بحسب عمود، غالبًا تاريخ، فيتجاوز الترشيح على هذا العمود أقسامًا كاملة.
  • التجميع أو الفرز (Clustering) يرتب البيانات داخل الأقسام بحسب أعمدة كثيرة الترشيح، فتُقرأ كتل أقل.

افعل

  • جزّئ جداول الحقائق الكبيرة بتاريخ الحدث
  • اختر الأعمدة اللازمة فقط
  • رشّح على عمود التجزئة في كل استعلام

5. التحويلات باستخدام dbt

يحوّل dbt استعلامات SQL من نوع SELECT إلى جداول وعروض داخل مستودعك، مع التحكم في الإصدارات والاختبارات والتوثيق. وهو يؤدي خطوة T في ELT ولا يستخرج البيانات ولا يحمّلها. يصدر dbt في خطين: dbt v1 المبني بلغة بايثون (الإصدار v1.12 في توثيق 2026) وdbt v2 الأحدث. والمفاهيم أدناه واحدة فيهما.

  1. عرّف المصادر — اذكر الجداول الخام في ملف YAML لتشير إليها النماذج بـ source() ويمكن فحص حداثتها.
  2. اكتب نماذج التهيئة (staging) — نموذج لكل جدول مصدر: إعادة تسمية وتحويل أنواع فقط. مثال: يختار stg_orders من source('shop', 'orders').
  3. اكتب النماذج الوسيطة ونماذج marts — اربط وجمّع مع الإشارة إلى النماذج الأخرى بـ ref('stg_orders').
  4. شغّل dbt build — يستنتج dbt الترتيب من استدعاءات ref() ثم ينفذ النماذج والاختبارات والبذور واللقطات بحسب التبعيات.

دالة ref() قلب dbt. فهي تبني رسم التبعيات (DAG) وتحدد المخطط الصحيح لكل بيئة وتتيح اختبار التغييرات في مخطط تطوير دون المساس بالإنتاج.

يحدد نمط التجسيد (materialization) كيف يُخزَّن النموذج:

النمطما يُنشأمتى يُستخدم
viewاستعلام محفوظنماذج التهيئة الخفيفة
tableجدول يُعاد بناؤه كل تشغيلنماذج marts التي تستعلم عنها لوحات المعلومات كثيرًا
incrementalتُعالج الصفوف الجديدة أو المتغيرة فقطجداول الأحداث الكبيرة
ephemeralتعبير CTE داخل النماذج التي تستخدمهخطوات صغيرة قابلة لإعادة الاستخدام

6. التنسيق باستخدام Airflow

يقرر المنسِّق (orchestrator) ما يُشغَّل ومتى وبأي ترتيب وما يحدث عند الفشل. وApache Airflow من أوسع المنسّقات مفتوحة المصدر انتشارًا؛ وآخر إصدار في الإعلانات الرسمية هو 3.4.0 (6 نوفمبر 2026). تصف سير العمل كـ Dag (رسم موجّه غير دوري) بلغة بايثون: المهام عُقد والتبعيات أسهم، دون حلقات.

المفهومالمعنى
Dagسير العمل: المهام والتبعيات والجدولة
المهمة (Task)وحدة عمل واحدة تُكتب بمشغّل أو بمزخرف TaskFlow @task
Dag runتنفيذ واحد للـ Dag لتاريخ منطقي واحد
إعادة المحاولة (Retries)عدد مرات إعادة محاولة المهمة الفاشلة وبعد أي مهلة
المستشعر (Sensor)مهمة تنتظر شرطًا، مثل وصول ملف

في Airflow 3 تستورد اللبنات من airflow.sdk (dag وtask وAsset). أُزيلت ميزات قديمة: حلّ logical_date محل execution_date، وحلّت مجموعات المهام والأصول محل SubDAGs، وأصبحت قيمة catchup الافتراضية False فلا يطلق Dag جديد مئات التشغيلات الماضية بصمت.

  1. سمِّه — dag_id واضح مثل daily_sales_pipeline.
  2. اضبط الجدولة — سلسلة cron أو إعدادًا جاهزًا مثل @daily أو أصلًا تنتظره.
  3. أضف المهام — استخراج وتحميل وdbt وفحص الجودة.
  4. أضف المحاولات والتنبيهات — مثل 3 محاولات بمهلة وإشعار فشل.
  5. حدد التبعيات — الاستخراج قبل التحميل قبل التحويل.

7. الجودة والحوكمة والتكلفة

خط بيانات يعمل بنجاح لكنه يسلّم أرقامًا خاطئة أسوأ من خط يفشل، لأن أحدًا لا يلاحظ. وتُفحص الجودة بأبعاد يمكن قياسها.

البعدالسؤالفحص معتاد
الاكتمالهل ينقص شيء؟not_null وعدد الصفوف مقارنة بالمصدر
التفردهل من تكرار؟unique على المفتاح
الصلاحيةهل القيمة مسموحة؟accepted_values والنطاقات والصيغ
الحداثةهل هي حديثة بما يكفي؟حداثة المصدر ومواعيد تشغيل الـ Dag
الاتساقهل تتفق الجداول؟relationships ومجاميع تتطابق

ضع الفحوص حيث يكون التصرف أرخص: عند الوصول (المخطط وعدد الصفوف والحداثة) وأثناء التحويل (اختبارات dbt) وقبل التقديم (مطابقة مع إجمالي المالية). وعند فشل فحص حرج أوقف التدفق ونبّه مسؤولًا محددًا بدل نشر بيانات سيئة مع تحذير لا يقرؤه أحد.

عقد البيانات اتفاق مكتوب بين الفريق المنتج للبيانات والفرق المستهلكة لها: المخطط ومعنى الحقول والحداثة وجهة الاتصال. فيحوّل «غيّر المصدر عمودًا» من مفاجأة إلى تغيير مُدار.

تضيف المراقبة (observability) الرؤية: سجل التشغيلات وأعداد الصفوف عبر الزمن والحداثة والنسب (lineage) التي تبيّن أي لوحات تعتمد على أي جداول، فتعرف من يتأثر قبل أن تغيّر شيئًا.

حالة: مع نتائج الربع الأول من 2022 (10 مايو 2022) ذكرت شركة Unity Technologies أن عطلًا في المنصة واستيعاب بيانات سيئة من عميل كبير أضعفا دقة أداتها الإعلانية Audience Pinpointer، بأثر مقدّر بنحو 110 ملايين دولار على إيرادات 2022، وأوضحت أن الأثر كله لا يعود إلى بيانات ذلك العميل وحدها (مكالمة النتائج وإيداعات الشركة لدى SEC). والتحقق من المدخلات وتنبيهات الشذوذ على البيانات المستوعَبة هي الضوابط التي تعالج الجزء المتعلق بالبيانات من هذا النوع من الإخفاق.

يتواصل الدرس كاملاً في الدورة التفاعلية على هذه الصفحة.

المصادر والمراجع

دورة تعليمية مستقلة عن أي مزوّد. جرى التحقق من إصدارات الأدوات وميزاتها في التوثيق الرسمي في نوفمبر 2026 (Apache Airflow 3.4 وdbt v1.12 وv2)، وهي تتغير بسرعة، فراجع التوثيق الحالي قبل البناء. النقاط القانونية (GDPR والقانون المغربي 09-08) تمهيد وليست استشارة قانونية، فأشرك مسؤول حماية البيانات. تُذكر أسماء المنتجات لشرح المفاهيم فقط.

كل الدورات · الذكاء الاصطناعي والبيانات - دورات مجانية