אתה כנראה תצטרך לאחסן נתונים במקום כמנהל או מפתח, ולא רק כל סוג של נתונים, אלא נתונים בכמויות עצומות. לאן תפנה? הענן הוא האפשרות הכי מעשית שלך, ובמזל, Azure Data Lake יכול לעזור לך באחסון נתונים בלתי דואג.
Azure Data Lake מאפשר לך לבצע כל סוג של עיבוד וניתוח על פני פלטפורמות ושפות במהירות רוחבית. ובמדריך הזה, תלמד איך להשתמש ב-Azure Data Lake לאחסון וניתוח.
אחסון ביעילות ובביטחון את הנתונים שלך במקום אחד עם Azure Data Lake היום!
דרישות מוקדמות
המדריך הזה יהיה הדגמה מעשית. אם ברצונך להתקדם, הקפד להפעיל חשבון Azure עם מינוי פעיל – אם אין לך עדיין, ניסיון חינם יהיה מספיק.
יצירת אגם נתונים דרך פורטל Azure
Azure Data Lake הוא שירות אחסון נתונים בענן מבוסס שמותאם לניתוח של נתונים גדולים והוא נמדד לגמרי. תוכל להתחיל בצורה קטנה ולגדול כפי שהצורך שלך גדל. אך איך ניתן ליצור את האחסון?
קח סיור מהיר בפורטל Azure וצור חשבון Azure Data Lake.
1. פתח את דפדפן האינטרנט האהוב עליך ונווט אל פורטל Azure.
2. לְבַחֵר, הַזְן אֶת פְרָטֶיךָ, לַחֲץ עַל כְפַתוּר הַכְנִיסָה, וּלְהִתְחַבֵּר לְחֶשְבּוֹן הָאַזוּר שֶׁלְךָ.
לְאַחַר שֶׁתִּתְחַבֵּר, הַדְפֵס הַדְפֵס הַדְפֵסְתָה שֶׁלְךָ יְנַתֵק לְאִתְר הָאַזוּר (צַעַד שְׁלִישִׁי).
3. בְּאִתְר הָאַזוּר שֶׁלְךָ, לַחֲץ עַל "צוֹר מַשְׁאֵב", וְזֹאת תִּפְתַח אֶת רְשִׁימַת הַמַּשְׁאֵבוֹת הַזְּמַינִים בָּאַזוּר.
תֶּרֶאֱנָה אֶת הַעֲמוּד הַבָּא כְּשֶׁתְּכַנֵּס לָרִאשׁוֹנָה אוֹ אִם אֵין לְךָ שׁוּם מַשְׁאֵבוֹת פָּעֳלִים בַּמִּינוּי שֶׁלְךָ.
4. חֵפֶש ״חֶשְׁבּוֹן אִחָסוֹן״ בְּתַיבַת הַחֵיפוֹשׁ בְּרֹאשׁ הַעֲמוּד, וּבְחֵר בִּחֲשִׁבוֹן אִחָסוֹן. כָּךְ תִּוָּתֵךְ הַדְּפֵס הַדְפֵס הַדְפֵסְתָה שֶׁלְךָ אֶל עַמוּד הַתְּמוּצָע שֶׁל חֶשְׁבּוֹן אִחָסוֹן.
תַּיבַת הַחֵיפוֹשׁ מַאֲפִשֶּׁרֶת לְךָ לִמְצוֹא בַמַּהֵרָה מַשְׁאֵבוֹת שֶׁתְּרָצֶה לִיצוֹר בְּמָקוֹם לְהִתְמַעֵד דִּרְךְ הָמַיוּחַדִים. אֲךָ לַמְּדָרָה הַזֹּאת, אַתָּה יוֹצֵר חֶשְׁבּוֹן אִגַּם נַתְקָנָה שֶׁלְךָ.
אִגַּם הַנַּתְקָנָה שֶׁלְךָ בּוֹנֶה עַל גַּבֵּי אִגַּם אִגּוּם. אָז, חֶשְׁבּוֹן אִגּוּם הוּא סוֹג הַמַּשְׁאֵב שֶׁאַתָּה צָרִיך לִיצוֹר חֶשְׁבּוֹן אִגַּם חָדָשׁ.
5. כְּעַת, לַחֲץ עַל ״לִיצוֹר״, אֲשֶׁר מְפַנֶה אֶת הַדְּפֵס הַדְפֵסְתָה שֶׁלְךָ אֶל עַמוּד הַלִיצוֹר שֶׁל חֶשְׁבּוֹן.
6. לִהְגִּיד אֶת חַשְׁבּוֹן הַמַּטְמוֹן שֶׁלְךָ הַתְחִיל בִּפְרָטֵי הַפְּרוֹיֶקְט כְּכָלַל: פְּרָטִים פְּרוֹיֶקְטכָּךְ:
- בְּחַר בַּ מִינוּי שֶׁלְךָ – אִם יֵשׁ לְךָ מִסְפָּר מִינוּיִים, וְהַפְקֵד שֶׁתִּבְחָר זֶה אֶת אֶחָד שֶׁבּוֹ אַתָּה מַעוֹדֵף לִיצוֹר אֶת חֶשְׁבּוֹן הַמִּינוּי שֶׁלְךָ. הַמַּדְרוֹן הַזֶּה מַשְׁתֵּמֵשׁ בְּמִינוּי אִגּוּם 1, כְּשֶנִצְטַף בָּהַמָּקוֹם לָמַעַלְה.
- בחרו את קבוצת המשאבים שלכם – קבוצות משאבים הן דרך לקבץ באופן לוגי משאבי Azure. תוכלו לחשוב על קבוצות משאבים כעל תיקיות בהן אתם ממקמים משאבים קשורים. קבוצות משאבים מאפשרות לכם לנהל, לפקח ולמחוק משאבים בקלות רבה יותר.
אם עדיין אין לכם קבוצת משאבים, לחצו על הקישור צור חדש במקום זאת כדי ליצור אחת.
7. באותה הדף, קבעו את פרטי המופע עם הבאים:
- ספקו שם חשבון אחסון ייחודי – בחירת המדריך הזה היא ataazurestorage. השם חייב להיות ייחודי בתוך Azure וחייב להיות בין שלוש ל-24 תווים ארוך.
- בחרו את האזור שבו אתם רוצים לפרוס את חשבון האחסון שלכם – האזור הוא המקום שבו חשבון האחסון שלכם ימוקם פיזית. בחרו את האזור הקרוב ביותר אליכם או אל המשתמשים שלכם.
לדוגמה, אם אתם יוצרים חשבון אחסון עבור אפליקציית אינטרנט שמשתמשים מארה"ב יגשו אליה, בחרו באזורי מזרח או מערב ארה"ב.
- השאירו את כל ההגדרות האחרות על ערכי ברירת המחדל ולחצו על המשך: מתקדם בתחתית הדף. בשלב זה, יהיה לכם חשבון אחסון blob סטנדרטי.
8. בלשונית 'מתקדם', סמן את תיבת הסימון להפעלת שם מרחבי מודל ארגוני באחסון Data Lake Storage Gen2. אפשרות זו ממירה את חשבון האחסון שלך לחשבון Data Lake ומאפשרת את כל הפונקציות של Data Lake, כולל Analytics ו־Store.
לחץ על כפתור 'ביקורת ויצירה' (למטה בשמאל) כדי לאמת את ההגדרות שלך, וזה עשוי לקחת מספר דקות עד להשלמה.
9. לאחר אימות, לחץ על הכפתור 'יצירה' כדי לסיים את יצירת חשבון האחסון.
לאחר שחשבון האחסון שלך נוצר, תראה את הפרוצדורה בתהליך, כפי שמוצג למטה, וזה עשוי לקחת מספר דקות עד להשלמה.
10. לבסוף, לחץ על הכפתור 'עבור למשאב' כדי לפתוח את חשבון האחסון שנוצר לאחר התקנה. בנקודה זו, כבר יש לך חשבון Data Lake של Azure.
יצירת Data Lake באמצעות ה-CLI
ראית שיצירת חשבון Data Lake של Azure באמצעות פורטל Azure עובדת כשורה. אבל מה אם ברצונך לקבל דרך חוזרת ואוטומטית ליצור חשבונות Data Lake? פורטל Azure אינו האפשרות הטובה ביותר, אלא Azure CLI.
ה-CLI של Azure הוא כלי צד-צולם שניתן להשתמש בו כדי לנהל את המשאבים שלך ב-Azure ומאפשר לך לאינטגרציה עם תהליכי CI/CD האוטומטיים שלך.
אינסטרומנט קוּצְרִים של Azure זמין עבור Windows, Linux, Azure Cloud Shell וְ macOS.
כדי ליצור חשבון Azure Data Lake דרך Azure CLI:
1. בפורטל Azure, לחץ על הכפתור Cloud Shell, כפי שמוצג למטה, כדי לפתוח את ה- Azure Cloud Shell.
2. בתחתית פורטל Azure, בחר באחת מהאפשרויות: Bash או PowerShell כסוג הקופסה שלך, והקופסה נפתחת.
ב- Azure Cloud Shell שלך, תוכל לשנות את סוג הקופסה שלך ברצונך ל- Bash או ל- PowerShell. אך עבור המדריך הזה, שמור את הקופסה Bash פעילה.
3. הפעל את הפקודה הבאה ב- Azure Cloud Shell שלך כדי לוודא את – גרסת Azure CLI המותקנת. בכל פלטפורמה שאתה משתמש בה, וודא שיש לך Azure CLI גרסה 2.6.0 או מאוחר יותר, אחרת לא תוכל ליצור חשבון Data Lake.
4. כעת, הפעל את הפקודה הבאה כדי להתחבר ל- Azure עם חשבון ה- Azure שלך.
מדריך זה משתמש בשיטת האישור של Active Directory (Azure AD) של Azure. שיטה זו היא סוג האישור המומלץ מכיוון שהיא קלה יותר ומספקת יותר אבטחה משימוש בסוכן שירות.
תראו קוד ו-URL שיצורפו בחלון הטרמינל למטה. יש לרשום את ה-URL כי תזדקקו לו כדי לאמת את Azure באמצעות Azure AD בשלב הבא.
5. התחברו באמצעות Azure AD עם השלב הבא:
- נווטו אל ה-URL שרשמתם בשלב הרביעי בדפדפן שלכם.
- התחברו באמצעות הפרטים של חשבון ה-Azure שלכם והקוד שרשמתם בשלב הרביעי.
6. לאחר מכן, לחצו על המשך כדי להשלים את תהליך האימות.
7. הריצו את הפקודה הבאה: az account list כדי לרשום את המינויים עבור החשבון שמחובר.
אם החשבון שלך מקושר ליותר ממינוי אחד של Azure, עשוי להיות עליך לבחור ולהגדיר את המינוי שברצונך להשתמש בו עבור חשבון ה-Data Lake שלך.
שימו לב לשם המינוי שברצונכם להשתמש בו עבור חשבון ה-Azure Data Lake שלכם. לדוגמה, המינוי לשימוש הוא Azure subscription 1.
8. כעת, הריצו את הפקודה הבאה: az account set וציינו את שם המינוי שלכם. הפקודה לא מספקת פלט אך הואות את המינוי שבו ישתמש חשבון ה-Azure Data Lake שלכם.
9. הפעל את הפקודה הבאה az group create כדי ליצור קבוצת משאבים. בחר שם ייחודי עבור קבוצת המשאבים שלך, אך הבחירה במדריך זה היא ataadatalakecli והגדר את –location ל-westus.
10. לאחר יצירת קבוצת המשאבים, הרץ את הפקודה az storage account create למטה והעבר את הערכים לפרמטרים הבאים כדי ליצור חשבון אחסון:
--name– שם חשבון האחסון שלך (ataaazuredatalakecli).
--resource-group– שם קבוצת המשאבים שלך (ataadatalakecli).
--location– מיקום חשבון האחסון שלך (westus).
--sku– SKU האחסון עבור חשבון האחסון שלך (Standard_LRS).
--kind– סוג חשבון Data Lake שיווצר (StorageV2).
--enable-hierarchical-namespace true - הפעל את המרחב השם ההיררכי עבור החשבון שלך, שדרוש לשימוש ב-Data Lake Storage Gen2.
שים לב ש-StorageV1 כעת כבר לא נתמך, ועליך להשתמש ב-StorageV2 עבור כל חשבונות Data Lake שיצרו לאחרונה. חשבונות StorageV1 קיימים עדיין יכולים לשמש לזמן מסוים אך בסופו של דבר יועברו ל-StorageV2. לכן, מומלץ בחום להעביר את הנתונים שלך לחשבונות StorageV2.
11. כעת, נווטו לקבוצת המשאבים שלך בפורטל Azure, ותראו את המשאבים שיצרתם לאחרונה, כפי שמוצג למטה.
לחצו על ההיפרלינק של קבוצת המשאבים שלך כדי לנווט לדף הסקירה של קבוצת המשאבים (שלב 12).
12. לבסוף, לחצו על חשבון האחסון שלכם מהרשימה כדי לגשת לדף הסקירה שלו.
זהו! כעת יש לכם חשבון אחסון פעיל.
העלאת נתונים לאחסון הגולן
הקמתם כעת את חשבון האחסון שלכם, אך כרגע הוא ריק. אז למה לא להעלות את הנתונים שלכם? ניתן להעלות ולאמת את הנתונים שלכם באמצעות פורטל Azure ו-Azure CLI, אך תחילה עליכם ליצור קונטיינר.
1. בלוח המחוונים של חשבון האחסון שלכם, לחצו על קונטיינר תחת אחסון נתונים (לוח הצד השמאל) ולחצו על קונטיינר, כפי שמוצג למטה, כדי ליצור קונטיינר חדש.
ב-Azure, קונטיינר הוא מערכת קבצים לאחסון הנתונים שלך.
2. לאחר מכן, הגדירו את הקונטיינר החדש עם ההגדרות הבאות:
- ציינו שם לקונטיינר שלכם, אך בבחירת המדריך הזה, השם הוא azuredatalakecotainer.
- בחר פרטי (אין גישה אנונימית) עבור רמת הגישה.
- לחץ על צור בתחתית כדי ליצור את התכול.
3. לחץ על שם התכול שלך מהרשימה, כפי שמוצג למטה, כדי לפתוח אותו. שים לב שהתכול שלך רק ריק כרגע.
4. כעת, לחץ על העלאה בחלק העליון כדי להעלות קבצים או תיקיות לתוך התכול שלך.
5. בלשון העלאת blob, לחץ על כפתור ההעלאה של התיקייה, אתה יכול לאתר את הקבצים או התיקיות שלך וללחוץ על העלאה כדי להעלות אותם.
אתה יכול לבחור מספר קבצים ותיקיות להעלאה במכה אחת.
תראה את מצב ההעלאה של כל קובץ/תיקייה כמו שמוצג למטה.
כשההעלאה הושלמה, תראה את הקבצים מופיעים ברשימת התכול שלך.
או באמצעות הפעלת פקודת az storage למטה כדי לרשום את כל הקבצים שהועלו לתוך התכול שלך. החלף בשם התכול (azuredatalakecotainer) ושם החשבון (ataaazuredatalakecli ) שלך.
הפלט למעלה מאמת שהקבצים הועלו בהצלחה לחשבון Azure Data Lake Storage Gen2 שלך ולמטא-נתונים שלהם.
6. הפעל את הפקודה למטה כדי ליצור ספרייה חדשה בשם my-data-lake-directory בתוך התכול שלך (azuredatalakecotainer).
7. לבסוף, נווטו חזרה לתוך הקונטיינר שלך בפורטל של Azure, ותראה את התיקייה שנוצרה לאחרונה ברשימה, כפי שמוצג למטה.
משם, תוכל להעלות קבצים ותיקיות נוספים לתיקייה שנוצרה לאחרונה על פי השלבים שלשה עד חמישה.
סיכום
בנוסף להיות יעיל מבחינת עלויות, שכן תשלום יתבצע רק על האחסון שאתה משתמש בו, מערכת Azure Data משתמשת ב-Azure Active Directory לאימות ולהרשאות. אבטחת הנתונים שלך היא עדיפות גבוהה בכל מקרה. ובמדריך זה, למדת כיצד ליצור חשבון Azure Data Lake Storage Gen2 באמצעות פורטל Azure ו-CLI.
עם Azure Data Lake, יש לך אפשרות להעלות קבצים ולאמת אותם, מבלי לבצע עיבוד מורכב של עומסי עבודה בנתונים גדולים.
בנקודה זו, כבר תוכל לאחסן בבטחה את כל הנתונים שלך במקום אחד, ולהתחיל לנתח את הנתונים שלך באמצעות הכלים והשירותים שAzure מציעה. למה לא להתחיל בשירות Data Lake Analytics ולהתחיל לשאול ולהמחיש את הנתונים שלך?