معالجة البيانات باستخدام نماذج اللغة الكبيرة: معالجة البيانات المدعومة بالذكاء الاصطناعي

تعتبر عملية استخراج وتحويل وتحميل البيانات (ETL) في صميم خطوط أنابيب البيانات الحديثة؛ حيث تساعد في نقل ومعالجة كميات كبيرة من البيانات لأغراض التحليل، وتطبيقات الذكاء الاصطناعي، وذكاء الأعمال (BI) للمنظمات. كانت ETL التقليدية تعتمد بشكل صريح على القواعد، مما يتطلب الكثير من التكوينات اليدوية للتعامل مع تنسيقات البيانات المختلفة.

ومع ذلك، مع الاتجاهات الحديثة لنماذج اللغة الكبيرة (LLMs)، نحن نبدأ في رؤية فجر ETL المدفوعة بالذكاء الاصطناعي التحويلي لاستخراج البيانات ودمجها.

تطور ETL: من القائم على القواعد إلى القائم على الذكاء الاصطناعي

لطالما استخدمت الشركات أدوات ETL لمعالجة البيانات الهيكلية وشبه الهيكلية. عادةً ما تتبع قواعد وتعريفات مخططات معينة من أجل إثراء البيانات، وهو ما يمكن أن يكون قيدًا عندما تتغير تنسيقات البيانات باستمرار. بعض التحديات التقليدية المعروفة في ETL:

• تعريف المخطط اليدوي. تستغرق معالجة البيانات وتعريف المخطط في ETL التقليدية وقتًا وتبطئ تدفقات البيانات العامة
• مصادر البيانات المعقدة. من الأسهل دمج قواعد البيانات الهيكلية، ولكن يصعب ذلك مع المستندات غير الهيكلية (ملفات PDF، رسائل البريد الإلكتروني، أو السجلات).
• قيود القابلية للتوسع. أنظمة ETL القائم على القواعد لا تتكيف بسهولة مع أنواع مختلفة من مجالات البيانات والمصادر التي تحتاج في النهاية إلى الكثير من التخصيص.

هذا هو السبب في أن تقنية LLM تعالج هذه القيود وتجلب الذكاء السياقي والقابلية للتكيف والتأليف.

كيف تغير تقنيات LLM لعبة ETL

استخراج خالٍ من النمط

تستطيع تقنيات LLM غير المُهيكلة أو التي لا تحتوي على نمط استخراج المعلومات ذات الصلة ديناميكيًا من المصادر غير المهيكلة. بدلاً من القواعد المُشفرة, يفهم النماذج الذكاء الاصطناعي علامات السياق ويستخرج البيانات المُهيكلة أثناء المعالجة.

استعلامات اللغة الطبيعية لتكامل البيانات

يمكن للمستخدمين التفاعل مع أدوات ETL التي تعتمد على تكنولوجيا LLM عبر اللغة الطبيعية بدلاً من كتابة استعلامات SQL مُعقدة أو نصوص تحويل البيانات لاستخلاص رؤى بسيطة من البيانات المُجمعة. بما أن تستخدم أدوات ETL التي تعتمد على تقنيات LLM اللغة الطبيعية, فإن هذا يجعل استخراج البيانات وتحويلها أكثر إمكانية للمستخدمين غير التقنيين أيضًا.

تحويل البيانات التكيفي

على عكس الأنابيب التقليدية لـ ETL, لا يجب عليك فعليًا تكويد التحويلات. يمكن لتقنيات LLM تطبيق التحويلات استنادًا إلى طلبات المستخدم, مما يجعل من الأسهل تنظيف البيانات وإثرائها عبر مصادر مختلفة.

دعم متعدد الوسائط

تستطيع تقنيات LLM معالجة ليس فقط النصوص — بل يمكنها أيضًا معالجة الصور والجداول وملفات PDF وحتى السجلات شبه المهيكلة, مما يجعلها واحدة من الحلول المثالية لحالات استخدام ETL المعقدة.

مثال عملي: استخراج اللاما

تم تقديم LlamaExtract بواسطة LlamaIndex، وهو واحد من أحدث التطورات في هذا المجال حيث يستخدم LLM(s) لاستخراج البيانات المهيكلة. يتيح LlamaExtract للمستخدمين بناء مخطط بيانات بلغة مشتركة واستخراج البيانات من ملفات PDF، ملفات HTML، والمستندات النصية ببضع نقرات، على عكس الأدوات التقليدية لاستخراج وتحويل البيانات.

LlamaExtract يوفر استخراجًا يستند إلى المخطط للمستخدمين الذين يحددون الهيكل الذي يحتاجون إليه. واجهته ذات الكود المنخفض والتكامل السلس تعمل مع مصادر متنوعة وتكون مفيدة للمستخدمين التقنيين وغير التقنيين على حد سواء.

وفيما يلي مثال يوضح كيف يمكننا تكوين LlamaExtract بسرعة لاستخراج المعلومات من ملف PDF غير المهيكل ببضعة أسطر فقط.

from llama_index.extract import LlamaExtract

# تهيئة المستخرج
extractor = LlamaExtract()

# تحديد المخطط للاستخراج
schema = {
    "Invoice Number": "string",
    "Customer Name": "string",
    "Date": "date",
    "Total Amount": "float"
}

# تحميل المستندات (PDF، HTML، أو نصي)
document_path = "/data/invoice.pdf"
extracted_data = extractor.extract(document_path, schema)

# عرض البيانات المستخرجة
print(extracted_data)

يعد LlamaExtract مثالًا واحدًا فقط على كيفية مساعدة LLM-powered ETL في بناء خطوط أنابيب البيانات، مما يجعل الإدماج البياني أكثر كفاءة وقابلية للتوسيع.

الاستنتاج

سيغير ظهور تحويل ETL المدعوم بالذكاء الاصطناعي طريقة عمل مهندسي البيانات والمحللين. مع تقدم LLMs عبر منحنيات التعلم الخاصة بهم، سنرى المزيد من:

• التَّلقائيَّة في سير العمل لمعالجة البيانات، مما يُقلِّل التدخُّل البشري.
• الدِّقَّة في استخراج البيانات المُنظَّمة من مصادر غير منظمّة وفوضوية.
• التَّوفُّر يُمكِّن المستخدمين غير التقنيين من إنشاء إجراءات ETL بلغة طبيعيّة.

هذا الجمع بين ETL و LLM(s) يُشير إلى تغيير جوهري في معالجة البيانات. يُساعد ETL القائم على الذكاء الاصطناعي الشركات على فتح سير عمل بيانات أسرع وأكثر ذكاءً وفعاليةً من خلال خفض الجهد اليدوي، وتحسين القابلية للتكيُّف، وتعزيز التوسُّع.