Tenzij je onder een steen hebt geleefd, valt niet te ontkennen in welke mate AI organisaties heeft doordrongen—35% van de bedrijven heeft al AI-gebaseerde workflows ontwikkeld zo niet volledig geautomatiseerde aspecten van hun bedrijf.
IT-infrastructuur is echter een ander verhaal. Ondanks dat het transformerende mogelijkheden belooft, kan AI ook worden beschouwd als een soort van Pandora’s doos.
Onder de oppervlakte van deze innovatie ligt een complex web van verborgen kosten die vaak onopgemerkt blijven totdat ze invloed beginnen te hebben op budgetten en operaties. Organisaties moeten deze kosten navigeren om een evenwichtige benadering te bereiken tussen innovatie en financiële duurzaamheid. Laten we eens kijken hoe haalbaar AI echt is.
Investeringen in infrastructuur en hardware
AI-workloads vereisen immense rekenkracht, vaak boven de capaciteiten van standaard IT-infrastructuur. Dit geldt met name voor multi-agent, toonaangevende modellen van Microsoft en OpenAI, maar de meeste van dergelijke oplossingen zijn niet bedoeld voor de gemiddelde organisatie.
Met OpenAI die een abonnementsniveau van $200/maand uitbrengt, wordt steeds duidelijker dat vertrouwen op derden niet zo financieel verstandig is als aanvankelijk gedacht. Dus, wat is dan het alternatief?
Een optie is voor bedrijven om gehoste GPU-servers te huren in datacenters en hun AI-infrastructuur uit te besteden. Het is de ‘ideale oplossing’ tussen tools van derden en volledig lokaal gaan. Toch betekent dit nog steeds dat een derde partij minstens een deel van de verantwoordelijkheid draagt. Wat dacht je van volledig lokaal gaan?
Een Nvidia H100 gaat je ongeveer $28,000 kosten, terwijl een server met 8 H200 GPU’s meer dan $250,000 kost.
Niet te vergeten, je hebt geavanceerde koelsystemen nodig om de aanzienlijke warmteafgifte te beheren, en deze systemen alleen al kunnen een aanzienlijk deel van de operationele kosten uitmaken. Opgewaardeerde voedingen en uitgebreide fysieke ruimte – soms noodzakelijk voor volledig nieuwe datacenterfaciliteiten – dragen bij aan de financiële last.
Naast deze directe kosten, moet je ook downtime of vertragingen overwegen tijdens de integratiefase, wat de productiviteit en budgetten verder beïnvloedt. De cumulatieve kosten van deze upgrades overschrijden vaak de initiële budgetramingen, wat langetermijn financiële verplichtingen creëert die zorgvuldig moeten worden beheerd. En dat is alleen nog maar het hardwaregedeelte.
Data-acquisitie- en beheerkosten
Zodra je de juiste infrastructuur hebt, is het tijd om de modellen waarmee je werkt te trainen en te finetunen. Het trainen van AI-modellen vereist enorme hoeveelheden data, vaak afkomstig van zowel interne systemen als externe leveranciers. Hoewel de kosten voor het verkrijgen van eigen datasets minimaal zijn, worden de kosten voor het annoteren van de data, gevolgd door het structureren en opslaan ervan vaak onderschat.
Ongestructureerde of van slechte kwaliteit zijnde data kunnen leiden tot inefficiënties en fouten bij het trainen van AI, wat investeringen in data-engineeringteams of tools vereist om datasets voor te bereiden. Je kunt data-wranglingtools zoals Trifacta of Alteryx gebruiken om het proces te stroomlijnen door repetitieve reinigingstaken te automatiseren.
Deze tools gaan echter gepaard met licentiekosten en vereisen bekwame operators om hun nut te maximaliseren. Bovendien kun je overwegen om ML-specifieke platforms zoals Databricks te benutten voor efficiënt beheer en structurering van data, maar de kosten zijn er nog steeds.
Naarmate datasets groeien, stijgen ook de opslagkosten, met name wanneer nalevingsregels langdurige retentie of specifieke formaten vereisen. Hoge prestatie-opslagoplossingen zoals Amazon S3 of Azure Blob Storage kunnen schaalbaarheid en nalevingsbehoeften accommoderen, maar ze rekenen vaak toeslagen voor geavanceerde beveiligingsfuncties of opslag die specifiek is voor een regio.
Organisaties moeten deze eisen in balans brengen met hun budgetbeperkingen, door voortdurend opslagstrategieën te herzien om te voorkomen dat de kosten uit de hand lopen. Dat is nog los van training, Q&A-tests en de tijd die wordt besteed aan het knoeien met pas uitgebrachte modellen.
Softwareontwikkeling en integratie
Ondanks wat elke andere startup je ook zou kunnen vertellen, is AI-implementatie niet plug-and-play. Tenminste, als je geen standaardoplossing wilt. Het aanpassen van AI-software om aan specifieke zakelijke behoeften te voldoen, vereist aanzienlijke ontwikkelinspanningen. Deze inspanningen omvatten het integreren van AI-systemen met bestaande IT-omgevingen, wat vaak inhoudt dat legacy-systemen worden aangepast om compatibiliteit te waarborgen.
Aangepaste ontwikkeling brengt niet alleen eenmalige kosten met zich mee, maar ook terugkerende kosten voor updates en optimalisatie. Tegelijkertijd moet je het team trainen en het raamwerk ontwerpen voor nieuwe workflows.
Veel organisaties onderschatten de tijd en expertise die nodig zijn om de kloof te overbruggen tussen geavanceerde AI-algoritmes en functionele, betrouwbare toepassingen. Dit leidt tot ontwikkelingsblokkades en een verlies van samenhang.
Operationele en compliance risico’s van AI-modellen
Met een enkele ChatGPT-prompt die 900% meer energie kost dan een Google-zoekopdracht, is het geen geheim dat AI energieverslindend is. Nog los van het feit dat AI-modellen voortdurende monitoring en fijnafstemming vereisen om effectief te blijven. De omstandigheden in de echte wereld veranderen vaak, waardoor LLM’s gevoelig zijn voor modelafwijking als ze onbeheerd worden gelaten.
Het monitoren van prestaties, het opnieuw trainen van modellen en het aanpassen aan nieuwe datasets vereist voortdurend operationeel toezicht, wat resulteert in hogere operationele kosten. Wat als er een nieuwe, betere API wordt uitgebracht? Elke uur telt, wat kan leiden tot een vicieuze cirkel van constant testen, benchmarken en proceswisselingen.
AI opereert binnen een complex juridisch en ethisch landschap. Zorgen voor naleving van gegevensbeschermingsvoorschriften zoals GDPR of HIPAA vereist grondige audits en het opzetten van robuuste governancekaders. Niet-naleving kan leiden tot zware boetes, reputatieschade of zelfs juridische uitdagingen.
Audits, certificeringen en naleving van ethische AI-richtlijnen worden vaak behandeld als bijzaak, wat leidt tot overhaaste en kostbare implementaties later. Het proactief aanpakken van deze vereisten houdt in dat juridische en nalevingsdeskundigen worden ingehuurd, regelmatige beoordelingen worden uitgevoerd en geautomatiseerde nalevingshulpmiddelen worden geïmplementeerd.
Afhankelijkheid van cloudautomatisering
Terwijl cloudautomatisering de implementatie van AI vereenvoudigt door schaalbare en flexibele omgevingen te bieden, introduceert het verborgen afhankelijkheden. Je wordt misschien niet belast met de hardwarekosten, maar hoe zit het met de beveiliging?
Tegelijkertijd kunnen organisaties die sterk vertrouwen op cloudservices uitdagingen ondervinden bij het beheersen van kosten, met name bij dynamische prijsmodellen die kosten in rekening brengen op basis van gebruiksmetrieken. Overmatig vertrouwen op cloudautomatisering zonder streng kostenbeheer kan leiden tot budgetoverschrijdingen, aangezien jij niet degene bent die de controle heeft.
Maar cloudautomatisering volledig opgeven is geen oplossing. De flexibiliteit die het biedt bij het schalen van resources en integratie met andere IT-systemen blijft onschatbaar voor de adoptie van AI. De uitdaging ligt in het optimaliseren van het gebruik ervan terwijl financiële risico’s worden beperkt. Denk aan hybride cloudgegevensbeheer, zowel als middel tot diversificatie als een kleine inspanning richting decentralisatie ter wille van de beveiliging.
Beveiligingsimplicaties
AI-systemen zijn aantrekkelijke doelwitten voor cyberaanvallen vanwege hun waardevolle gegevens en besluitvormingsmogelijkheden. Daarom vereist het handhaven van de beveiliging van AI-toepassingen investeringen in geavanceerde cybersecuritytools, penetratietests en voortdurende monitoring.
Het punt is—hackers weten dat je AI een aanzienlijke hoeveelheid gegevens hebt gevoerd en ze zijn niet verlegen om het zelf te gebruiken voor doeleinden van sociale manipulatie. In sommige gevallen moeten bedrijven die sterk leunen op AI meer middelen toewijzen om de infrastructuur te beveiligen. Evenzo vormen vijandige aanvallen, waarbij kwaadwillende actoren AI-modellen manipuleren, een unieke bedreiging. Er is nog steeds geen zekerheid hoe men volledig passende bescherming kan realiseren.
Benutten van het potentieel van AI
AI is een krachtig instrument voor het moderniseren van IT-infrastructuur, het stimuleren van innovatie en het behalen van concurrentievoordelen. Toch vereisen de verborgen kosten zorgvuldige planning, budgettering en continu beheer.
Door deze uitdagingen holistisch aan te pakken, kunt u het potentieel van AI benutten terwijl u financiële en operationele stabiliteit behoudt. Niet te vergeten dat dingen alleen maar beter zullen worden naarmate we krachtigere en geavanceerdere modellen krijgen.