ChatGPT y otros modelos generativos de IA han ganado popularidad últimamente, pero el costo de usarlos puede ser prohibitivo. Eso quedó claro cuando la pequeña startup Latitude creció en popularidad con su juego de mazmorras de IA que genera historias fantásticas basadas en la entrada del usuario. El director ejecutivo Nick Walton descubrió que el costo de mantener el software del juego de rol basado en texto seguía aumentando a medida que más usuarios jugaban el juego. La generación de texto de AI Dungeon se basó en la tecnología de lenguaje GPT de Microsoft desarrollada por OpenAI. Además, los especialistas en marketing de contenido usaron el juego para crear textos publicitarios, lo que también afectó la factura de IA de Latitude.
Según Walton, en 2021 la empresa gastó casi 200 000 dólares al mes en software de inteligencia artificial generativa OpenAI y Amazon Web Services para mantenerse al día con los millones de solicitudes de usuarios que tenía que procesar todos los días. "Bromeamos diciendo que teníamos trabajadores humanos y trabajadores de IA, y gastamos lo mismo en cada uno de ellos", dijo Walton. "Gastamos cientos de miles de dólares en IA cada mes, y no somos una gran empresa nueva, por lo que fue un costo muy alto".
A fines de 2021, para reducir costos, Latitude cambió a un software de lenguaje más económico pero aún capaz de AI21 Labs. Además, la empresa integró modelos de lenguaje de código abierto gratuitos en sus servicios. Como resultado, las facturas mensuales de IA de la compañía se redujeron a menos de $100,000. Latitude ahora cobra a sus jugadores una suscripción mensual por funciones avanzadas de inteligencia artificial para ayudar a cubrir los costos.
Las costosas facturas de IA de Latitude muestran que el costo de desarrollar y mantener tecnologías de IA generativa puede ser prohibitivamente alto, tanto para las empresas que desarrollan las tecnologías subyacentes como para aquellas que usan la IA para impulsar su propio software. Esta es una realidad incómoda para la industria, ya que grandes empresas como Microsoft, Meta y Google utilizan su capital para forjar una ventaja tecnológica que los competidores más pequeños no pueden igualar. Si el margen para las aplicaciones de IA es permanentemente más pequeño que el margen anterior para el software como servicio (SaaS) debido a los altos costos informáticos, esto podría amortiguar el auge actual.
El alto costo de la capacitación y la "inferencia" (en realidad, la ejecución de modelos de IA) en modelos de lenguaje grande es un costo estructural distinto de los auges informáticos anteriores. Incluso una vez que el software está construido o entrenado, aún requiere una enorme cantidad de poder computacional para ejecutar grandes modelos de lenguaje, ya que realizan miles de millones de cálculos cada vez que devuelven una respuesta a un mensaje. En comparación, el costo de implementar y mantener el software históricamente ha sido comparativamente bajo.
A pesar de estos desafíos, la demanda de tecnologías de IA generativa sigue siendo alta, ya que pueden ayudar a las empresas a crear nuevos productos y trabajar de manera más efectiva. La industria está trabajando para reducir el costo del uso de tecnologías de IA mediante el desarrollo de hardware con mayor eficiencia energética y la introducción de nuevos algoritmos y arquitecturas que requieren menos potencia informática. Además, la comunidad de código abierto puede ayudar proporcionando modelos y herramientas de IA gratuitos.
En general, la tecnología de IA aún se encuentra en la fase de desarrollo y el alto costo es un desafío que las empresas y los desarrolladores deben superar para implementar la tecnología con éxito. Se espera que los costos disminuyan con el tiempo a medida que la industria continúa innovando y desarrollando soluciones más eficientes.
Modelos de entrenamiento de IA: ¡el costo del entrenamiento!
Los analistas y tecnólogos estiman que entrenar grandes modelos de lenguaje como GPT-3 de OpenAI podría costar más de $4 millones. La capacitación de modelos más avanzados podría incluso costar más de "millones de un solo dígito", según Rowan Curran, analista de Forrester especializado en IA y aprendizaje automático.
Meta lanzó recientemente su modelo LLaMA más grande, entrenado en 2048 GPU Nvidia A100 para entrenar 1,4 billones de tokens (aproximadamente 750 palabras son aproximadamente 1000 tokens). La capacitación tomó alrededor de 21 días y requirió alrededor de 1 millón de horas de GPU. Con los precios exclusivos de AWS, la capacitación costaría más de 2,4 millones de dólares. Aunque el modelo de 65 mil millones de parámetros es más pequeño que los modelos GPT actuales en OpenAI, como ChatGPT-3 con 175 mil millones de parámetros, sigue siendo un esfuerzo costoso.
Según Clement Delangue, director ejecutivo de Hugging Face, una startup de inteligencia artificial, entrenar el gran modelo de lenguaje Bloom de la empresa tomó más de dos meses y medio y requirió acceso a una supercomputadora que era "aproximadamente el equivalente a 500 GPU". Las organizaciones que crean grandes modelos de lenguaje deben tener cuidado al volver a entrenar sus modelos para mejorar sus capacidades, ya que es muy costoso, enfatizó.
Delangue señaló que es importante darse cuenta de que estos modelos no están siendo entrenados todo el tiempo, como lo son todos los días. Algunos modelos como ChatGPT pueden no estar al tanto de los últimos eventos. Delangue también enfatizó que el conocimiento de ChatGPT termina en 2021.
Actualmente, Hugging Face está realizando una capacitación para la segunda versión de Bloom, que no costará más de $10 millones. Sin embargo, Delangue dijo que no quieren hacer esos entrenamientos todas las semanas.
Inferencia: un proceso costoso cuando se utilizan generadores de texto de IA.
Los ingenieros utilizan modelos de aprendizaje automático capacitados para predecir o generar texto mediante el método de "inferencia". Este proceso puede ser significativamente más costoso que entrenar el modelo, ya que es posible que deba ejecutarse millones de veces para un producto popular. Para un producto tan popular como ChatGPT, con un estimado de 100 millones de usuarios activos mensuales en enero, el investigador Curran calcula que OpenAI puede haber gastado $40 millones en el procesamiento de millones de avisos en el transcurso de un mes.
Los costos aumentan drásticamente cuando estas herramientas se utilizan miles de millones de veces al día. Los analistas financieros estiman que el chatbot Bing AI de Microsoft, basado en un modelo OpenAI ChatGPT, requerirá al menos $ 4 mil millones en infraestructura para brindar respuestas a todos los usuarios de Bing.
Latitude, una startup que accede a un modelo de lenguaje OpenAI, no tuvo que pagar para entrenar el modelo, pero sí tuvo en cuenta el costo de la inferencia, que según un portavoz de la compañía era de "medio centavo por llamada" y le dio "un par de millones de solicitudes por día". Curran estima que sus cálculos son bastante conservadores.
Para impulsar el auge actual de la IA, los capitalistas de riesgo y los gigantes tecnológicos están invirtiendo miles de millones de dólares en nuevas empresas que se especializan en tecnologías de IA generativa. Por ejemplo, según informes de los medios, en enero Microsoft invirtió hasta $10 mil millones en OpenAI, que supervisa GPT. El brazo de capital de riesgo de Salesforce Ventures recaudó recientemente un fondo de $ 250 millones para apoyar las nuevas empresas de IA generativa.
Muchos empresarios ven riesgos al confiar en modelos de IA potencialmente subsidiados que no controlan y solo pagan por uso. Suman Kanuganti, el fundador de personal.ai, un chatbot en modo beta, aconseja a los empresarios que no confíen únicamente en grandes modelos de lenguaje como OpenAI o ChatGPT. Empresas como la firma de tecnología empresarial Conversica están explorando cómo aprovechar la tecnología a través del servicio en la nube Azure de Microsoft a un precio reducido. El CEO de Conversica, Jim Kaskade, se negó a comentar sobre los costos de la puesta en marcha, pero enfatizó que los costos subsidiados son bienvenidos ya que están explorando cómo se pueden usar los modelos de lenguaje de manera efectiva.
El futuro del desarrollo de la IA: desafíos y oportunidades
No está claro si el costo de desarrollar IA en la industria seguirá siendo alto. Las empresas de modelos básicos, los fabricantes de semiconductores y las nuevas empresas ven oportunidades comerciales en la reducción del costo de propiedad del software de IA.
Nvidia, que posee alrededor del 95 % del mercado de chips de IA, continúa desarrollando versiones más potentes diseñadas específicamente para el aprendizaje automático. Sin embargo, las mejoras en el rendimiento de los chips en la industria se han ralentizado en los últimos años.
Aún así, el CEO de Nvidia, Jensen Huang, cree que la IA será "un millón de veces" más eficiente en 10 años. No solo se mejoran los chips, sino también el software y otros componentes de la computadora. "La Ley de Moore, en su mejor momento, habría entregado 100 veces más en una década", dijo Huang en una conferencia de ganancias el mes pasado. "Al desarrollar nuevos procesadores, sistemas, interconexiones, marcos y algoritmos, y colaborar con científicos de datos e investigadores de inteligencia artificial para desarrollar nuevos modelos, hemos acelerado millones de veces el procesamiento de grandes modelos de lenguaje".
Algunas nuevas empresas se han centrado en el alto costo de la IA como una oportunidad de negocio. D-Matrix desarrolló un sistema para ahorrar dinero en la inferencia haciendo más procesamiento en la memoria de la computadora que en una GPU. Los fundadores creen que las GPU son costosas y no fueron diseñadas para el resultado final. Delangue, el CEO de HuggingFace, cree que más empresas estarían mejor atendidas al enfocarse en modelos específicos más pequeños que son más baratos de capacitar y operar que los modelos de idiomas grandes.
OpenAI redujo el costo de acceder a sus modelos GPT el mes pasado. Ahora cuesta una quinta parte de un centavo por unas 750 palabras de producción. Los precios más bajos de OpenAI han llamado la atención del fabricante de mazmorras de IA Latitude. El CEO de Latitude, Nick Walton, dijo que la decisión de OpenAI de reducir costos les permitirá ofrecer a más usuarios acceso a sus increíbles historias generadas por IA.
En general, el futuro del desarrollo de la IA dependerá de muchos factores, incluidos el costo, la disponibilidad de trabajadores calificados, los avances tecnológicos y los marcos regulatorios. Sin embargo, queda claro que el desarrollo de la IA desempeñará un papel crucial en muchas industrias en los próximos años y que las empresas que inviertan en esta tecnología desde el principio podrían tener una ventaja competitiva decisiva.