AWS MSK עבור מתחילים: מדריך מלא להתחלה

התקנת AWS MSK

כדי להתחיל עם AWS MSK, תחילה, עליך ליצור חשבון שלך ב-AWS. אם זה הפעם הראשונה שלך בשימוש ב-AWS, למד כיצד להגדיר ולהגדיר את חשבון ה-AWS שלך עם המדריך המקיף שלנו.

התחבר לממשק ניהול ה-AWS ופתח את תפריט ה-MSK. לחץ על "צור אשכול" כדי להתחיל בתהליך ההתקנה. 

התחלה עם AWS MSK. תמונה מקורית: AWS

בחר "יצירה מהירה" עבור הגדרות ברירת מחדל, ולאחר מכן הזן שם אשכול מתאר.

משם, יש לך אפשרויות נוספות רבות לבחירה, שתלויות בדרישותיך האישיות לקבוצת ה-Cluster שלך. הנה סקירה מהירה של האפשרויות:

• סוג קבוצה: "ניתן לספק" או "לא-שרתי"
• גרסת Apache Kafka
• סוג Broker: "רגיל" או "Express"
• גודל Broker
• נפח אחסון EBS

אפשרויות הגדרת AWS MSK

האשף נוצר תמיד בתוך Amazon VPC. ניתן לבחור להשתמש ב-VPC הברירת מחדל או להגדיר ולציין VPC מותאם אישית.

עכשיו, אתה צריך רק לחכות שהאשף יתקבל, תהליך שעשוי לקחת 15 עד 30 דקות. ניתן לצפות במעמד האשף מעמוד סיכום האשף, שם תראה את שינוי המצב מ"יוצר" ל"פעיל".

הזנת ועיבוד נתונים עם AWS MSK

כאשר האשף שלך של MSK מוכן, תצטרך ליצור מכונת לקוח כדי לייצר ולצרוך נתונים באחת או יותר נושאים. מאחר ש-Apache Kafka משולב כהיטב עם הרבה יצרני נתונים (כגון אתרי אינטרנט, מכשירי IoT, מקרני Amazon EC2, וכו'), MSK גם משתף את היתרון הזה.

אפאצ'י קאפקה מארגן נתונים במבנים הנקראים נושאים. כל נושא מורכב מפרט אחד או יותר. פרטים הם מידת הפרלמיזם באפאצ'י קאפקה. הנתונים מתפצלים בין סוכנים באמצעות פיצול נתונים.

מונחים מרכזיים להבנת אשף קאפקה:

• נושאים הם הדרך היסודית לארגון נתונים בקאפקה.
• מפיקים הם יישומים שמפרסמים נתונים לנושאים—הם יוצרים וכותבים נתונים לקאפקה. הם כותבים נתונים על נושאים ופרטים מסוימים.
• צרכנים הם יישומים שקוראים ועובדים עם נתונים מנושאים. הם מושכים נתונים מנושאים שהם רשומים אליהם.

כאשר מבנים ארכיטקטורה שמבוססת על אירועים עם AWS MSK, עליך להגדיר מספר שכבות, שבהן MSK היא הרכיב העיקרי לקליטת הנתונים. הנה סקירה של השכבות שעשויות להיות נדרשות:

1. הגדרת קליטת נתונים
2. שכבת עיבוד
3. שכבת אחסון
4. שכבת ניתוחים

דוגמה לארכיטקטורת אירועים עם Amazon MSK ו-Amazon EventBridge.מקור התמונה: AWS

אם אתה מעוניין למקם את Python בצינור הנתונים שלך , בדוק את הקורס שלנו מבוא ל- AWS Boto ב-Python .

המלצות מובילות לשימוש ב-AWS MSK

AWS MSK ניתן להגדרה יחסית פשוטה ולהתחיל להשתמש בו מייד. עם זאת, כמה מתוך המומלצים החיוניים ישפרו את ביצועי האשכולות שלך ויחסוך לך זמן מאוחר יותר.

התאם את גודל האשכול שלך

תצטרך לבחור את מספר המחלקים הנכון לכל מארכז ואת מספר המארכזים לכל אשכול.

מספר גורמים עשויים להשפיע על ההחלטות שלך כאן; עם זאת, AWS סיפקה מספר המלצות ומשאבים שימושיים כדי להדריך אותך בתהליך זה.

בנוסף, AWS מספקת גיליון עבודה לגודל ולמחיר כדי לעזור לך להעריך את הגודל הנכון של האשכול שלך ואת עלויות השימוש הקשורות בשימוש ב- AWS MSK לעומת אשכול Kafka שניהל באופן עצמאי דומה.

בניה של אשכולות בעלי זמינות גבוהה

AWS ממליצה עליך להגדיר את האשכולות שלך כדי שיהיו בעלי זמינות גבוהה. זה חשוב במיוחד בעת ביצוע עדכון (כגון עדכון של גרסת Apache Kafka) או כאשר AWS מחליפה ברוקר.

כדי להבטיח כי האשכולות שלך יהיו בעלי זמינות גבוהה, יש שלוש דברים שעליך לעשות:

1. הגדירו את האשכולות שלכם בשלושת אזורי זמינות (נקרא גם אשכולון שלושת האזורים).
2. קבעו את גורם השכפול ל-3 או יותר.
3. קבעו את מספר הרפליקות המינימליות באשכול ל-RF-1.

הדבר הנהדר ב-AWS הוא שהם מחייבים ל-SLAs קפדניים עבור פריסות במרכזי זמינות רבים; אחרת, אתם מקבלים את הזיכויים שלכם חזרה.

ניטור שימוש בדיסק ובמעבד

שני מדדי מפתח לניטור דרך AWS CloudWatch הם שימוש בדיסק ובמעבד. לעשות זאת לא רק יבטיח שהמערכת שלכם פועלת בצורה חלקה אלא יסייע גם בהפחתת הוצאות. 

הדרך הטובה ביותר לנהל את השימוש בדיסק ועלויות האחסון הנלוות היא להקים אזעקת CloudWatch שמתריעה כאשר השימוש בדיסק חורג מערך מסוים, כמו 85%, ולשנות את מדיניות השימור שלך. קביעת זמן שימור להודעות ביומן שלך יכולה לעזור מאוד בשחרור מקום בדיסק באופן אוטומטי.

בנוסף, כדי לשמור על ביצועי הקלאסטר שלך ולמנוע צווארי בקבוק, AWS ממליצה לשמור על סך השימוש במעבד עבור הברוקרים שלך מתחת ל-60%. אתה יכול לעקוב אחרי זה באמצעות AWS CloudWatch ולאחר מכן לנקוט בפעולה מתקנת על ידי עדכון גודל הברוקר שלך, לדוגמה.

הגן על הנתונים שלך באמצעות הצפנה במהלך ההעברה

ברירת המחדל, AWS מצפינה נתונים במהלך ההעברה בין הברוקרים בקלאסטר MSK שלך. אתה יכול לבטל זאת אם המערכת שלך חווה שימוש גבוה במעבד או השהיה. עם זאת, מומלץ מאוד לשמור על הצפנה במהלך ההעברה פעילה בכל עת ולמצוא דרכים אחרות לשפר את הביצועים אם זה מהווה בעיה עבורך.

בדוק את הקורס שלנו ניהול אבטחת AWS ועלויות כדי ללמוד עוד על כיצד לאבטח ולבצע אופטימיזציה של סביבת הענן שלך ב-AWS ולנהל עלויות ומשאבים ב-AWS.

השוואת AWS MSK לכלים אחרים להזרים

כאשר אנו מחליטים איזה כלי הוא הכי טוב עבור פרוייקט, לעיתים קרובות נצטרך להעריך מספר אפשרויות. הנה האלטרנטיבות הנפוצות ביותר ל-AWS MSK ואיך הן נשוות.

AWS MSK נגד Apache Kafka על EC2

המחילה העיקרית בין MSK ואפשרות בעלות הון עצמית באמצעות EC2 היא בין נוחות ובין שליטה: MSK נותן לך פחות לנהל אך גמישות פחות, בעוד EC2 מעניק לך שליטה מוחלטת אך דורש יותר עבודה.

AWS MSK טופל את כל המשימות האופרטיביות המורכבות, עם תצורה והפעלה אוטומטיות. היתרון בכך הוא כי אין עלויות תשתית מראש. יש גם שילוב חלק עם שירותים אחרים של AWS ותכונות אבטחה חזקות.

שימוש ב-Kafka על EC2, מצד שני, משלים הגדרה ידנית ותצורה ונדרשת גם טיפול בכל תחזוקה ועדכונים בעצמך. זה מציע גמישות רבה יותר אך עשוי להביא עמו יותר מורכבות ועלויות תפעול ועשוי לדרוש צוותות מיומנים יותר.

AWS MSK vs. Kinesis

השתמש ב-Kinesis לפשטות ושילוב עמוק של AWS וב-MSK עבור תאימות עם Kafka או על מנת לקבוע יותר בקרה על ההגדרת שלך לזרימת נתונים.

Kinesis היא ארכיטקטורה ללא שרתים שמשתמשת בחתיכות לזרימת נתונים. AWS נוהלת הכל עבורך. עם זאת, חשוב להיות מודע למגבלות שמירת הנתונים. Kinesis היא פתרון נהדר לדרישות פשוטות לזרימת נתונים.

AWS MSK תלוי בדגמי נושא ומחיצה של Kafka, עם שמירת נתונים כמעט בלתי מוגבלת, בהתאם לאחסון שלך. זהו פתרון גמיש וניתן להתאמה אישית יותר שבו אתה יכול להעביר אם נדרש מ-AWS.

אם אינך מוכר ב-Kinesis, יש לנו קורס שמדגים כיצד לעבוד עם נתונים זורמים באמצעות AWS Kinesis ו-Lambda.

AWS MSK נגד Confluent

בחרו ב-Confluent אם נדרשות לכם תכונות רחבות ותמיכה מקיפה, ובחרו ב-MSK אם יש לכם השקעה רבה ב-AWS וידע ב-Kafka בחבילה.

Confluent מציע קובץ תכונות עשיר עם מספר מחברים מובנים. זהו אפשרות יותר יקרה בכלל, אך היא מציעה שכבת בחינם עם תכונות מוגבלות. Confluent עובדת טוב עבור עומסי עבודה פתאומיים ויש לה תהליך התקנה פשוט יותר.

בהשוואה, AWS עוברת על קו פשיט ומתמקדת בפונקציונליות בסיסית של Kafka. כדי לקבל גישה לקובץ תכונות מורחב, יש לאינטגרציה של AWS MSK עם שירותי AWS נוספים. ממש מזל שהאינטגרציה הזו היא חלקה. ל-AWS MSK עלות בסיסית נמוכה יותר ויכולה להיות אפשרות טובה עבור עומסי עבודה קבועים.

הטבלה הבאה מציעה השוואה בין AWS MSK ואלטרנטיבותיה:

Closing Thoughts

אפאצ'ה קאפקה הוא בחירה המועדפת עבור מצבים בהם נדרשת פתרון אמין בקנה מידה רחב, שאינו יכול לסבול אובדן נתונים ודורש חיבור של מקורות נתונים מרובים או בניית צינורות נתונים מורכבים. AWS MSK מונעת רבות מהקשיים שנתקלים בהתקנה והגדרת אשכולות Kafka, מאפשרת למפתחים להתמקד יותר בבניית ושיפור יישומים במקום בתשתית.

קבלת תעודת AWS היא דרך מצוינת להתחיל את קריירת הAWS שלך. תוכל לבנות את מיומנויות הAWS שלך על ידי בדיקה של קטלוג הקורסים שלנו וקבלת ניסיון ידיים דרך פרויקטים!