העלויות הנסתרות של הטמעת המודל השימושי בתשתיות ה-IT המודרניות

למעט אם חיית תחת סלע, אין ספק למידה עמוקה ברמת הכנסת המותגים האינטליגנטיים לתוך הארגונים—35% מהעסקים כבר פיתחו תהליכי עבודה המבוססים על AI אם כי לא באופן מוחלט אוטומטי.

עם זאת, תשתיות ה-IT הן חיה שונה. אף על פי שהיא מבטיחה יכולות מהפכניות, AI יכולה גם להיות מוכרת כארגז פנדורה, למעשה.

פרסומת

מתחת לפני המשטח של החדשנות הזו יש רשת מורכבת של עלויות נסתרות שלעיתים נדמות בלתי נראות עד שהן מתחילות להשפיע על התקציבים והפעולות. ארגונים חייבים לנווט בין העלויות הללו על מנת להשיג גישה מאוזנת בין חדשנות וקיימות פיננסית. בואו נבחן כמה יציב הוא AI באמת.

השקעות בתשתיות ובחומרה

עומסי עבודה של AI מחייבים כוח מחשבתי עצום, המעבר ליכולות התשתית התקנית. זה נכון במיוחד למודלים מתקדמים, מרובי-סוכנים מבית Microsoft ו-OpenAI, אך רוב הפתרונות כאלה אינם מיועדים לארגון הממוצע.

עם OpenAI ששחררה שכבת מינוי בעלות 200 דולר לחודש, הדבר מתבהר יותר ויותר שהסתמכות על צדדים שלישיים אינה כל כך יעילה ככל שנחשב בהתחלה. אז, מהו האלטרנטיבה, אז?

אחת האפשרויות היא שחברות ישכרו שרתי GPU מארוחים במרכזי נתונים ויעבירו את התשתיות שלהן לביצועי AI שם. זהו 'נקודת המתוק' בין כלי צד שלישי והעברת הכל למקום פיזי באופן מלא. עם זאת, גם כאן יש צורך של צד שלישי שישא בחלק מהאחריות לפחות. מה בנוגע לעבור למערכת מקומית באופן מלא?

פרסומת

ה-H100 של Nvidia תעלה לך כ-28,000 דולר, בעוד ששרת המכיל 8 כרטיסי H200 GPU יעלה יותר מ-250,000 דולר.

ולא לדבר על הצורך במערכות קירור מתקדמות כדי לנהל את פלט החום המשמעותי, ומערכות אלה לבדן יכולות להסתבכות עם רוב ההוצאות התפעוליות. עדכונים במצבי כוח ורווחת פיזית מורחבת—שמפעמים מחייבים הקמת מתקני מרכזי נתונים חדשים לחלוטין—מוסיפים למשאב הכלכלי.

מעבר להוצאות ישירות אלו, עליך גם לשקול עצירות או איחורים במהלך תהליך האינטגרציה, שמשפיעים גם על היעילות והתקציבים. עלות השדרוגים המצטברת נוגעת לעיתים את התחזיות התקציביות ההתחלתיות, יוצרת התחייבויות כלכליות לטווח ארוך שיש לנהל בזהירות. וזה רק חלק מהחומרה.

עלויות רכישת נתונים וניהולם

פעם שיש לך את התשתיות הנכונות, זמן לאמן ולהכווין את המודלים שתשתמש בהם. אימון מודלי AI דורש כמויות עצומות של נתונים, שברוב המקרים מגיעים ממערכות פנימיות וספקים צד שלישי. בעוד שעלות רכישת קבוצות נתונים פרופריטריות היא קטנה במינוס, הוצאות העיבוד על הנתונים, ואז המידע והאחסון שלו, נעלמות לעתים תכליתית.

פרסומת

נתונים בלתי מובנים או באיכות רעה עשויים להוביל לאי יעילות ושגיאות באימון של AI, דורשים השקעות בצוותי הנדסת נתונים או כלים להכנת קבוצות נתונים. ניתן להשתמש בכלים לעיבוד נתונים כמו Trifacta או Alteryx כדי לקצר את התהליך על ידי אוטומציה של משימות ניקוי חוזרות.

עם זאת, כלים אלה מגיעים עם דמי רישיון ודורשים אופרטורים מיומנים כדי למקסם את השימושיות שלהם. בנוסף, ניתן לשקול להשתמש בפלטפורמות ספציפיות ללמידת מכונה כמו Databricks לניהול ומידע ייעודי ביעילות, אך העלויות עדיין קיימות.

כשהקבוצות נתונים גדלות, עלויות האחסון עולות – במיוחד כאשר התקנים תקני התאמה דורשים שמירה לטווח ארוך או פורמטים ספציפיים. פתרונות אחסון ביצועים גבוהים כמו Amazon S3 או Azure Blob Storage יכולים להתאים לצרכי הגדילה והתאמת התקנים, אך לעיתים קרובות הם גם גובים תשלומים נוספים עבור יכולות אבטחה מתקדמות או אחסון באזורים ספציפיים.

ארגונים חייבים לאזן בין דרישות אלו למגבלות התקציב שלהם, ולבצע בדיקה מחדש של אסטרטגיות אחסון כדי למנוע הוצאות בלתי נמנעות. וזה לא כולל את ההדרכה, בדיקת Q&A והזמן שמושקע בשיפור גרסאות חדשות

פרסומת

פיתוח תוכנה ואינטגרציה

למרות מה שכל חברת סטארטאפ אחרת עשויה לספר לך, הטמעת AI אינה תהליך פלאג אנד פליי. לפחות אם אינך רוצה פתרון מוכן. לכן, התאמת תוכנת AI על מנת להתאים אותה לצרכי העסק מחייבת מאמצים פיתוח ניכרים. המאמצים אלו כוללים אינטגרציה של מערכות AI עם סביבות IT קיימות, שבקרוב משנים מערכות בתולדות על מנת להבטיח תאימות

פיתוח מותאם אינו עולה רק בהוצאות ראשוניות, אלא גם בהוצאות מחזוריות לעדכונים ואופטימיזציה. באותו הזמן, תצטרך להדריך את הצוות ולעצב את המסגרת לזרימות עבודה חדשות

הרבים מתעלמים מהזמן והמומחות הנדרשים כדי לגשר בין אלגוריתמים מתקדמים של AI ליישומים פונקציונליים ואמינים. כתוצאה, זה מביא לנקודות מוקש פיתוחיות ואובדן סולידיות

סיכוני הבטיחות והתאמה של דגמי AI

עם פרומט אחד של ChatGPT שעולה 900% יותר אנרגיה מחיפוש ב-Google, אין ספק שהמודלים המבוססים על AI צריכים כוח. לא לדבר על הצורך במעקב וכיוון קבוע של המודלים כדי שישארו יעילים. תנאי העבודה בעולם האמיתי נהיים בפעם הרבה משתנים, מה שיכול לגרום ל"דריפט" במודלים של LLMs אם הם נשארים לבדם.

פרסומת

מעקב אחר ביצועים, אימון מחדש של מודלים, והתאמה לקבוצות נתונים חדשות דורשים ניטור תפעולי רציף, שמתרגם להפחתת הוצאות הפעולה. מה אם יש שחרור של API חדש וטוב יותר? כל שעה חשובה, וזה יכול להוביל למעגל נכון של בדיקות קבועות, אימות, ומעברי תהליכים.

הAI פועלת בתוך נופש חוקי ואתי מורכב. להבטיח התאמה לתקנות הגנת הנתונים כמו GDPR או HIPAA, דורש ביצוע ביקורות מקיפות והקמת שקיפות עוצמתיות. עיוות עשוי להביא לקנסות כבדים, פגיעה בשם טוב, או אפילו אתגרים משפטיים.

ביקורות, תעודות, והקפדה על המדריכים האתיים של AI נטפלים לעיתים כאילו לאחריותות, מה שמביא ליישומים מהירים ויקרים מאוחר יותר. טיפול בדרישות אלו באופן פרואקטיבי מעורב כולל השכרת מומחים משפטיים ולהתקשרות, ביצוע ביקורות קבועות, והטמעת כלים להתאמה אוטומטית להתאמה.

תלות באוטומציה של ענן

בזמן שהאוטומציה בענן מפשירה את הפיתוח של AI על ידי ספק סביבות גמישות ונתמכות בקנה מידה, היא מכניסה תלות מוסתרת. בטוח, לא תיכנס לעומס הוצאות החומרה, אבל מה עם האבטחה?

פרסומת

באותו זמן, ארגונים המסתמכים במידה רבה על שירותי ענן עשויים להתמודד עם אתגרים בבקרה על הוצאות, במיוחד עם מודלי תמחור דינמיים המחייבים תשלום על סמך מדדי שימוש. ההסתמכות המוגזמת על האוטומציה בענן ללא ניהול עלות מקפיד יכולה לגרום לחריגות בתקציב, מכיוון שאתה לא המחזיק בבקרה.

אך עזיבת האוטומציה בענן לחלוטין אינה פתרון. הגמישות שהיא מציעה בהתאם לקנות משאבים ולאינטגרציה עם מערכות IT אחרות נשארת ללא ערך בלתי נפרד לאימוץ של AI. האתגר הוא לייעל את השימוש בה בעוד מקטינים את הסיכון הכספי. חשוב לחשוב בקשר לניהול נתוני ענן היברידי, כמקור הגנה נוסף ומאמץ קל בכדי להפיץ למען האבטחה.

השלכות אבטחה

מערכות AI הן מטרות משתפתות להתקפות סייבר עקב ערך הנתונים הגבוה ויכולות הקבלת החלטות. כתוצאה מכך, לשמירה על אבטחת היישומים של AI נדרשים השקעות בכלי אבטחת מידע מתקדמים, בבדיקת חדירות ובמעקב רציני.

הנקודה היא – האחראים לפריצות יודעים שהעברת נתונים רבים ללמידת מכונה והם לא מתביישים להשתמש בכך בעצמם לצורך פעולות הנדבקות חברתיות. במקרים מסוימים, עסקים המשתמשים בלמידת מכונה צריכים להפנות יותר תקציבים לאבטחת התשתית. בנוסף, תקיפות נגדיות, בהן פועלים זדוניים מניפים מודלי למידת מכונה, מהוות איום ייחודי. עדיין אין אופן לדעת כיצד ניתן להקים הגנה מספקת.

פרסומת

מניהול הפוטנציאל של למידת מכונה

למידת מכונה היא כלי עוצמתי למודרניזציה של תשתיות המערכות מידע, דריבת חדשנות ורכישת יתרונות תחרותיים. עם זאת, העלויות המוסתרות שלה מחייבות תכנון זהיר, תקצוב וניהול רציני.

על ידי טיפול באתגרים הללו באופן מקיף, ניתן לנצל את הפוטנציאל של למידת מכונה תוך שמירה על יציבות פיננסית ותפעולית. כמו כן, הדברים רק ישתפרו ככל שנקבל מודלים עוצמתיים ומתקדמים יותר.

Source:
https://petri.com/the-hidden-costs-of-ai/