سوف تحتاج على الأرجح إلى تخزين البيانات في مكان ما كمسؤول أو مطور، ليس أي بيانات، ولكن بيانات ضخمة. إلى أين تتجه؟ السحابة هي خيارك الأكثر عملية، ولحسن الحظ، يمكن لـ Azure Data Lake مساعدتك في تخزين البيانات بدون قلق.
تتيح لك Azure Data Lake أداء جميع أنواع المعالجة والتحليل عبر المنصات واللغات بسرعة مذهلة. وفي هذا البرنامج التعليمي، ستتعلم كيفية استخدام Azure Data Lake للتخزين والتحليل.
قم بتخزين بياناتك بكفاءة وبأمان في مكان واحد باستخدام Azure Data Lake اليوم!
المتطلبات المسبقة
سيكون هذا البرنامج التعليمي عرضًا توضيحيًا عمليًا. إذا كنت ترغب في المتابعة، تأكد من أن لديك حساب Azure مع اشتراك نشط — إذا لم يكن لديك حساب بعد، فإن الفترة التجريبية المجانية ستكون كافية.
إنشاء بحيرة بيانات من خلال بوابة Azure
يعتبر Azure Data Lake خدمة تخزين بيانات في السحابة مُحسَّنة لتحليل البيانات الكبيرة وقابلة للتوسع بشكل كبير. يمكنك البدء بشكل صغير والنمو بمرور الوقت حسب احتياجاتك. ولكن كيف يمكنك إنشاء التخزين؟
قم بجولة سريعة في بوابة Azure وأنشئ حساب Azure Data Lake.
١. افتح المتصفح الويب المفضل لديك وانتقل إلى بوابة Azure.
2. بعد ذلك، قدم اعتماداتك، انقر على زر تسجيل الدخول، وقم بتسجيل الدخول إلى حساب Azure الخاص بك.
بعد تسجيل الدخول، يقوم متصفحك بإعادة توجيهك إلى بوابة Azure (الخطوة الثالثة).
3. في بوابة Azure الخاصة بك، انقر فوق إنشاء مورد، مما يفتح قائمة الموارد المتاحة في Azure.
سترى الصفحة أدناه عند تسجيل الدخول لأول مرة أو عند عدم وجود أي موارد مستخدمة في اشتراكك.
4. ابحث عن ‘حساب تخزين’ في شريط البحث في أعلى الصفحة وحدد حساب التخزين. فعل ذلك يقوم بإعادة توجيه متصفحك إلى صفحة نظرة عامة على مورد حساب التخزين.
يتيح لك شريط البحث العثور بسرعة على الموارد التي ترغب في إنشائها بدلاً من التمرير من خلال تلك المميزة. ولكن لهذا البرنامج التعليمي، أنت تقوم بإنشاء حساب Azure Data Lake.
Azure Data Lake مبني على أعلى من Azure Storage. لذا، حساب التخزين هو نوع المورد الذي تحتاج إلى إنشاء حساب جديد لخزانة بيانات Azure Data Lake.
5. الآن، انقر فوق إنشاء، مما يعيد توجيه متصفحك إلى صفحة إنشاء حساب التخزين (الخطوة السادسة)، حيث ستقوم بتكوين حساب التخزين الخاص بك.
6. قم بتكوين حساب التخزين الخاص بك بدءًا من تفاصيل المشروع على النحو التالي:
- حدد اشتراكك – إذا كان لديك عدة اشتراكات، تأكد من تحديد أحدثها حيث تفضل إنشاء حساب التخزين الخاص بك. يستخدم هذا البرنامج التعليمي اشتراك Azure 1، كما هو موضح أدناه.
- حدد مجموعة الموارد الخاصة بك – مجموعات الموارد هي طريقة لتجميع الموارد في Azure بشكل منطقي. يمكنك اعتبار مجموعات الموارد كمجلدات تضع فيها الموارد ذات الصلة. تتيح لك مجموعات الموارد إدارة ومراقبة وحذف الموارد بشكل أسهل.
إذا لم يكن لديك مجموعة موارد بعد ، فانقر على الارتباط إنشاء جديد بدلاً من ذلك لإنشاء واحدة.
7. في نفس الصفحة ، قم بتكوين تفاصيل الحالة مع ما يلي:
- قدم اسمًا فريدًا لحساب التخزين – اختيار هذا البرنامج التعليمي هو ataazurestorage. يجب أن يكون الاسم فريدًا في Azure ويجب أن يكون بين ثلاثة و 24 حرفًا.
- حدد المنطقة التي ترغب في نشر حساب التخزين الخاص بك فيها – المنطقة هي المكان الذي سيوجد فيه حساب التخزين الخاص بك في الواقع. حدد المنطقة الأقرب إليك أو إلى مستخدميك.
على سبيل المثال ، إذا كنت تقوم بإنشاء حساب تخزين لتطبيق ويب سيتم الوصول إليه من قبل مستخدمين من الولايات المتحدة ، فحدد المناطق الشرقية للولايات المتحدة أو الغربية للولايات المتحدة.
- احتفظ بجميع الإعدادات الأخرى على القيم الافتراضية وانقر فوق التالي: متقدم في أسفل الصفحة. في هذه المرحلة ، ستحصل على حساب تخزين كتلة قياسي.
8. في علامة التبويب المتقدمة، حدد خانة الاختيار تمكين النطاق الأساسي الهرمي في تخزين بحيرة البيانات الجيل الثاني. تقوم هذه الخيارات بتحويل حساب تخزين البلوب الخاص بك إلى حساب بحيرة بيانات وتمكين جميع وظائف بحيرة البيانات، بما في ذلك التحليلات والتخزين.
انقر فوق الزر “مراجعة + إنشاء” (أسفل اليسار) للتحقق من إعداداتك، والتي قد تستغرق بضع دقائق لإكمالها.
9. بعد التحقق، انقر على الزر “إنشاء” لإكمال إنشاء حساب التخزين.
بعد إنشاء حساب التخزين الخاص بك، سترى التنفيذ في التقدم، كما هو موضح أدناه، والذي قد يستغرق بضع دقائق لإكماله.
10. في النهاية، انقر على الزر “الانتقال إلى المورد” لفتح حساب التخزين الذي تم إنشاؤه حديثًا بعد التنفيذ. في هذه النقطة، لديك بالفعل حساب بحيرة بيانات Azure.
إنشاء بحيرة بيانات باستخدام CLI
لقد رأيت كيف يمكن إنشاء حساب بحيرة بيانات Azure باستخدام بوابة Azure بشكل جيد. ولكن ماذا لو أردت طريقة مكررة وآلية لإنشاء حسابات بحيرة بيانات؟ بوابة Azure ليست الخيار الأفضل، لكن Azure CLI.
أداة Azure CLI هي أداة متعددة المنصات يمكنك استخدامها لإدارة مواردك في Azure وتتيح لك التكامل مع عملية التكامل المستمر/التسليم التلقائي الخاصة بك.
تتوفر Azure CLI لأنظمة التشغيل Windows و Linux و Azure Cloud Shell و macOS.
لإنشاء حساب Azure Data Lake عبر Azure CLI:
1. في بوابة Azure، انقر على زر Cloud Shell كما هو موضح أدناه لفتح Azure Cloud Shell.
2. في أسفل بوابة Azure، اختر إما Bash أو PowerShell كنوع للشل الخاص بك، ويفتح الشل.
في Azure Cloud Shell الخاص بك، يمكنك تغيير نوع الشل الخاص بك بمرونة إما إلى Bash أو PowerShell. ولكن لهذا البرنامج التعليمي، حافظ على نشاط الشل Bash.
3. قم بتشغيل الأمر التالي على Azure Cloud Shell الخاص بك للتحقق من الإصدار –version الذي تم تثبيته من Azure CLI. أيًا كانت المنصة التي تستخدمها، تأكد من أن لديك Azure CLI الإصدار 2.6.0 أو الأحدث، وإلا فلن تتمكن من إنشاء حساب Data Lake.
4. الآن، قم بتشغيل الأمر التالي لتسجيل الدخول إلى Azure باستخدام حساب Azure الخاص بك.
يستخدم هذا البرنامج التعليمي طريقة تخويل Azure Active Directory (Azure AD). هذه الطريقة هي نوع التخويل الموصى به حيث أنها أسهل وتوفر مزيدًا من الأمان من استخدام ممثل الخدمة.
سترى رمزًا وعنوان URL يظهران في نافذة الطرفية أدناه. قم بتدوين عنوان URL لأنك ستحتاج إليه للمصادقة على Azure باستخدام Azure AD في الخطوة التالية.
5. قم بالمصادقة باستخدام Azure AD باستخدام ما يلي:
- انتقل إلى عنوان URL الذي لاحظته في الخطوة الرابعة في متصفح الويب الخاص بك.
- قم بتسجيل الدخول باستخدام بيانات حساب Azure الخاصة بك والرمز الذي لاحظته في الخطوة الرابعة.
6. بعد ذلك، انقر فوق “متابعة” لإكمال عملية المصادقة.
7. قم بتشغيل الأمر التالي az account list لقائمة الاشتراكات للحساب المسجل الدخول.
إذا كان حسابك مرتبطًا بأكثر من اشتراك Azure واحد، قد تحتاج إلى تحديد وتعيين الاشتراك الذي تريد استخدامه لحساب Azure Data Lake الخاص بك.
قم بتدوين اسم الاشتراك الذي تريد استخدامه لحساب Azure Data Lake الخاص بك. لهذا البرنامج التعليمي، الاشتراك المطلوب هو Azure subscription 1.
8. الآن، قم بتشغيل الأمر التالي az account set وحدد اسم الاشتراك الخاص بك. هذا الأمر لا يوفر مخرجات ولكنه يضبط الاشتراك لاستخدامه في حساب Azure Data Lake الخاص بك.
9. قم بتشغيل الأمر التالي az group create لإنشاء مجموعة موارد. اختر اسمًا فريدًا لمجموعة الموارد الخاصة بك، ولكن اختيار هذا البرنامج التعليمي هو ataadatalakecli واضبط –location على westus.
10. بعد إنشاء مجموعة الموارد، قم بتشغيل الأمر az storage account create أدناه وقم بتمرير القيم للمعلمات التالية لإنشاء حساب تخزين:
--name– اسم حساب بحيرة البيانات الخاص بك (ataaazuredatalakecli).
--resource-group– اسم مجموعة الموارد الخاص بك (ataadatalakecli).
--location– موقع حساب بحيرة البيانات الخاص بك (westus).
--sku– SKU التخزين لحساب بحيرة البيانات الخاص بك (Standard_LRS).
--kind– نوع حساب بحيرة البيانات الذي تريد إنشاؤه (StorageV2).
--enable-hierarchical-namespace true - يمكنك تمكين الفضاء الأساسي الهرمي لحسابك، وهو مطلوب لاستخدام تخزين بحيرة البيانات الجيل الثاني.
يرجى ملاحظة أن StorageV1 قد تم إهماله الآن، ويجب عليك استخدام StorageV2 لجميع حسابات بحيرة البيانات الجديدة التي تم إنشاؤها. يمكن استخدام حسابات StorageV1 الحالية لبعض الوقت لكنها في النهاية ستُهجّر إلى StorageV2. لذا، يُوصى بشدة بتهجير بياناتك إلى حسابات StorageV2.
11. الآن، انتقل إلى مجموعة الموارد الخاصة بك في بوابة Azure، وسترى الموارد التي تم إنشاؤها حديثًا، كما هو موضح أدناه.
انقر على رابط مجموعة الموارد الخاصة بك للانتقال إلى صفحة نظرة عامة على مجموعة الموارد (الخطوة 12).
12. في النهاية، انقر على حساب التخزين الخاص بك من القائمة للوصول إلى صفحة نظرة عامة على الحساب.
هذا كل شيء! لديك الآن حساب تخزين نشط.
تحميل البيانات إلى تخزين بحيرة البيانات.
لقد قمت للتو بإنشاء حساب Lake Storage Gen2 الخاص بك، ولكنه فارغ حاليًا. لماذا لا تقوم بتحميل بياناتك؟ يمكنك تحميل وتحقق بياناتك باستخدام بوابة Azure و Azure CLI، ولكن أولاً، يجب عليك إنشاء حاوية.
1. في لوحة تحكم حساب التخزين الخاص بك، انقر فوق الحاوية تحت تخزين البيانات (اللوحة اليسارية)، وانقر فوق الحاوية، كما هو موضح أدناه، لإنشاء حاوية جديدة.
في Azure، الحاوية هي نظام ملفات لتخزين بياناتك.
2. بعد ذلك، قم بتكوين الحاوية الجديدة بالتالي:
- حدد اسمًا للحاوية الخاصة بك، ولكن اختيار هذا البرنامج التعليمي هو azuredatalakecotainer.
- اختر “خاص (بدون وصول مجهول)” لمستوى الوصول.
- انقر على إنشاء في الأسفل لإنشاء الحاوية.
3. انقر على اسم الحاوية الخاصة بك من القائمة، كما هو موضح أدناه، لفتحها. يرجى ملاحظة أن حاويتك فارغة حاليًا.
4. الآن، انقر على زر تحميل في الأعلى لتحميل الملفات أو المجلدات إلى حاويتك.
5. في شاشة تحميل الكتلة، انقر على زر تحميل المجلد، ابحث عن ملفاتك أو مجلداتك، وانقر على تحميل لرفعها.
يمكنك اختيار عدة ملفات ومجلدات للتحميل في مرة واحدة.
سترى حالة كل ملف / مجلد تحميل مثل الواحدة أدناه.
عندما يكتمل التحميل، سترى الملفات المدرجة في حاويتك.
بدلاً من ذلك، قم بتشغيل أمر az storage أدناه لعرض جميع الملفات التي تم تحميلها في حاويتك. استبدل اسم الحاوية (azuredatalakecotainer) واسم الحساب (ataaazuredatalakecli) بالخاص بك.
الإخراج أدناه يتحقق من أن الملفات قد تم تحميلها بنجاح إلى حساب تخزين Azure Data Lake Storage Gen2 الخاص بك وبياناتها الوصفية.
6. قم بتشغيل الأمر أدناه لإنشاء دليل جديد ب اسم my-data-lake-directory في حاويتك (azuredatalakecotainer).
7. في النهاية ، انتقل مرة أخرى إلى حاويتك في بوابة Azure ، وسترى الدليل الذي تم إنشاؤه حديثًا في القائمة كما هو موضح أدناه.
من هناك ، يمكنك تحميل المزيد من الملفات والمجلدات الجديدة إلى الدليل الذي تم إنشاؤه حديثًا باتباع الخطوات من الثالثة إلى الخامسة.
الاستنتاج
بالإضافة إلى كونها فعالة من حيث التكلفة حيث ستدفع فقط عند استخدامك للتخزين ، يستخدم Azure Data تسجيل الدخول والتصريح من خلال Azure Active Directory. تأمين بياناتك أمر ذو أهمية قصوى على أي حال. وفي هذا البرنامج التعليمي ، تعلمت كيفية إنشاء حساب Azure Data Lake Storage Gen2 باستخدام بوابة Azure وواجهة سطر الأوامر.
مع Azure Data Lake ، يمكنك تحميل الملفات والتحقق منها ، دون القيام بمعالجة معقدة لأعباء العمل في تحليل البيانات الكبيرة.
في هذه النقطة ، يمكنك الآن تخزين بياناتك بأمان في مكان واحد ، والبدء في تحليل بياناتك باستخدام الأدوات والخدمات التي يقدمها Azure. لماذا لا تبدأ خدمة Data Lake Analytics وتبدأ في استعلام وتصور بياناتك؟