A menos que hayas estado viviendo bajo una roca, no se puede negar el alcance hasta el cual la inteligencia artificial ha permeado las organizaciones—el 35% de las empresas ya han desarrollado flujos de trabajo basados en IA si no es que han automatizado por completo aspectos de su negocio.
Sin embargo, las infraestructuras de TI son una bestia diferente. A pesar de que promete capacidades transformadoras, la IA también puede ser considerada una especie de caja de Pandora.
Debajo de la superficie de esta innovación yace una compleja red de costos ocultos que a menudo pasan desapercibidos hasta que comienzan a impactar en los presupuestos y operaciones. Las organizaciones deben navegar por estos costos para lograr un enfoque equilibrado entre la innovación y la sostenibilidad financiera. Veamos qué tan factible es realmente la IA.
Inversiones en infraestructura y hardware
Las cargas de trabajo de IA requieren una inmensa potencia computacional, a menudo superando las capacidades de la infraestructura de TI estándar. Esto es especialmente cierto para modelos de vanguardia de múltiples agentes de Microsoft y OpenAI, pero la mayoría de estas soluciones no están destinadas para la organización promedio.
Con OpenAI lanzando un nivel de suscripción de $200 al mes, está volviéndose cada vez más claro que depender de terceros no es tan financieramente prudente como se pensaba inicialmente. Entonces, ¿cuál es la alternativa, entonces?
Una opción es que las empresas alquilen servidores GPU alojados en centros de datos y descarguen su infraestructura de IA. Es el punto intermedio entre las herramientas de terceros y la instalación completamente local. Sin embargo, esto significa que un tercero asume al menos parte de la responsabilidad. ¿Qué tal ir completamente local?
Una Nvidia H100 te costará alrededor de $28,000, mientras que un servidor que contiene 8 GPUs H200 supera los $250,000.
Sin mencionar que necesitarás sistemas de enfriamiento avanzados para gestionar la considerable generación de calor, y estos sistemas por sí solos pueden representar una parte sustancial de los gastos operativos. Fuentes de alimentación actualizadas y espacio físico ampliado, a veces requiriendo instalaciones de centros de datos completamente nuevas, aumentan la carga financiera.
Además de estos costos directos, también debes considerar el tiempo de inactividad o retrasos durante la fase de integración, lo que afecta aún más la productividad y los presupuestos. El costo acumulativo de estas actualizaciones a menudo supera las previsiones presupuestarias iniciales, creando obligaciones financieras a largo plazo que deben ser gestionadas cuidadosamente. Y eso es solo la parte de hardware.
Costos de adquisición y gestión de datos
Una vez que tengas la infraestructura adecuada, es el momento de entrenar y ajustar los modelos que utilizarás. El entrenamiento de modelos de IA requiere grandes cantidades de datos, a menudo obtenidos de sistemas internos y proveedores externos. Mientras que el costo de adquirir conjuntos de datos propietarios es mínimo, los gastos relacionados con la anotación de los datos, seguidos por su estructuración y almacenamiento, a menudo son subestimados.
Los datos no estructurados o de baja calidad pueden llevar a ineficiencias y errores en el entrenamiento de IA, lo que hace necesario invertir en equipos de ingeniería de datos o herramientas para preparar conjuntos de datos. Puedes utilizar herramientas de manipulación de datos como Trifacta o Alteryx para agilizar el proceso mediante la automatización de tareas repetitivas de limpieza.
Sin embargo, estas herramientas vienen con tarifas de licencia y requieren operadores expertos para maximizar su utilidad. Además, puedes considerar el aprovechamiento de plataformas específicas de ML como Databricks para gestionar y estructurar los datos de manera eficiente, pero los costos siguen estando presentes.
A medida que los conjuntos de datos crecen, los costos de almacenamiento aumentan, especialmente cuando las regulaciones de cumplimiento exigen una retención a largo plazo o formatos específicos. Soluciones de almacenamiento de alto rendimiento como Amazon S3 o Azure Blob Storage pueden satisfacer las necesidades de escalabilidad y cumplimiento, pero a menudo cobran primas por funciones de seguridad avanzadas o almacenamiento específico de regiones.
Las organizaciones deben equilibrar estos requisitos con sus restricciones presupuestarias, revisando continuamente las estrategias de almacenamiento para evitar gastos descontrolados. Eso sin mencionar la formación, las pruebas de preguntas y respuestas y el tiempo dedicado a la manipulación de los modelos recién lanzados.
Desarrollo de software e integración
A pesar de lo que te pueda decir cualquier otra startup, la implementación de IA no es plug-and-play. Al menos si no quieres una solución estándar. Por lo tanto, personalizar el software de IA para que se ajuste a las necesidades comerciales específicas requiere importantes esfuerzos de desarrollo. Estos esfuerzos incluyen la integración de sistemas de IA con entornos de TI existentes, lo que a menudo implica modificar sistemas heredados para garantizar la compatibilidad.
El desarrollo personalizado no solo conlleva gastos iniciales, sino también costos recurrentes para actualizaciones y optimización. Al mismo tiempo, necesitarás capacitar al equipo y diseñar el marco para nuevos flujos de trabajo.
Muchas organizaciones subestiman el tiempo y la experiencia necesarios para cerrar la brecha entre los algoritmos de IA de vanguardia y aplicaciones funcionales y fiables. Como resultado, esto conduce a cuellos de botella en el desarrollo y a una pérdida de cohesión.
Riesgos operativos y de cumplimiento de modelos de IA
Con un solo prompt de ChatGPT que consume un 900% más de energía que una búsqueda en Google, no es ningún secreto que la IA es ávida de energía. Además, los modelos de IA requieren monitoreo continuo y ajustes finos para mantener su efectividad. Las condiciones del mundo real a menudo cambian, lo que hace que los LLM sean propensos a la deriva del modelo si se dejan sin supervisión.
Monitorear el rendimiento, volver a entrenar modelos y adaptarse a nuevos conjuntos de datos demanda una supervisión operativa continua, lo que se traduce en mayores gastos operativos. ¿Y si se lanza una nueva y mejor API? Cada hora cuenta, lo que puede llevar a un ciclo vicioso de pruebas constantes, comparaciones y cambios de procesos.
La IA opera dentro de un complejo panorama legal y ético. Garantizar el cumplimiento de regulaciones de protección de datos como el GDPR o HIPAA, requiere auditorías exhaustivas y el establecimiento de marcos de gobernanza sólidos. El incumplimiento puede resultar en multas cuantiosas, daño reputacional o incluso desafíos legales.
Las auditorías, certificaciones y el cumplimiento de las pautas éticas de la IA a menudo se tratan como reflexiones posteriores, lo que lleva a implementaciones apresuradas y costosas más adelante. Abordar estos requisitos de manera proactiva implica contratar expertos legales y de cumplimiento, realizar revisiones regulares e implementar herramientas automatizadas de cumplimiento.
Dependencia de la automatización en la nube
Si bien la automatización en la nube simplifica la implementación de la inteligencia artificial al proporcionar entornos escalables y flexibles, también introduce dependencias ocultas. Es cierto que es posible que no te veas afectado por los costos de hardware, pero ¿qué hay de la seguridad?
Al mismo tiempo, las organizaciones que dependen en gran medida de los servicios en la nube pueden enfrentar desafíos para controlar los costos, especialmente con modelos de precios dinámicos que cobran según métricas de uso. Una dependencia excesiva de la automatización en la nube sin una gestión rigurosa de costos puede llevar a exceder el presupuesto, ya que no estás en control.
Sin embargo, abandonar por completo la automatización en la nube no es una solución. La flexibilidad que ofrece para escalar recursos e integrarse con otros sistemas de TI sigue siendo invaluable para la adopción de la inteligencia artificial. El desafío radica en optimizar su uso mientras se mitigan los riesgos financieros. Piensa en términos de gestión de datos en la nube híbrida, tanto como un medio de diversificación como un ligero esfuerzo hacia la descentralización en aras de la seguridad.
Implicaciones de seguridad
Los sistemas de inteligencia artificial son objetivos atractivos para ciberataques debido a sus datos de alto valor y capacidades de toma de decisiones. Como resultado, mantener la seguridad de las aplicaciones de inteligencia artificial requiere inversiones en herramientas avanzadas de ciberseguridad, pruebas de penetración y monitoreo continuo.
El hecho es que los hackers saben que has estado alimentando a la IA con una cantidad significativa de datos y ellos no son tímidos en usarlo ellos mismos para fines de ingeniería social. En algunos casos, las empresas que dependen en gran medida de la IA necesitan reasignar más fondos para asegurar la infraestructura. Asimismo, los ataques adversariales, donde actores maliciosos manipulan modelos de IA, presentan una amenaza única. Aún no hay forma de decir cómo se puede establecer una protección adecuada.
Aprovechando el potencial de la IA
La IA es una herramienta poderosa para modernizar infraestructuras de TI, impulsar la innovación y obtener ventajas competitivas. Sin embargo, sus costos ocultos exigen una planificación, presupuestación y gestión continua cuidadosa.
Al abordar estos desafíos de manera integral, puedes aprovechar el potencial de la IA mientras mantienes la estabilidad financiera y operativa. Sin mencionar que las cosas solo mejorarán a medida que obtengamos modelos más potentes y avanzados.