¿Por qué la IA generativa es un desastre de ingeniería? El problema de la escalabilidad y el costo explicado
La frase la IA generativa es un desastre de ingeniería se disparó tras un artículo de The Atlantic de julio de 2026 que argumentaba que la industria ha construido una tecnología hambrienta de recursos cuyos costos no caen tan fácilmente con la escala como los costos del software tradicional. El titular es intencionalmente provocador, pero apunta a una pregunta seria: ¿pueden los sistemas que generan cada respuesta en tiempo real volverse más baratos, más confiables y más sostenibles lo suficientemente rápido como para justificar su enorme infraestructura?
La versión más fuerte de la crítica no es que los grandes modelos de lenguaje nunca funcionen. Es que su economía puede ser estructuralmente incómoda: servir a más usuarios significa procesar más tokens, los contextos más largos consumen más memoria, las ejecuciones de entrenamiento de vanguardia siguen creciendo y las salidas imperfectas aún requieren verificación. Al mismo tiempo, la etiqueta de "desastre" puede ser engañosa porque los precios de inferencia, la eficiencia del hardware y el rendimiento de los modelos más pequeños han mejorado drásticamente.
Fuente: Foto de Brett Sayles / Pexels
Puntos clave
- La crítica se centra principalmente en la economía unitaria. Un modelo generativo debe realizar un cálculo nuevo para cada solicitud en lugar de devolver solo una página o archivo previamente almacenado.
- Existen dos problemas de escalabilidad diferentes. Uno se refiere al costo de servir a más usuarios; el otro se refiere a la creciente computación necesaria para avanzar en la capacidad del modelo.
- El contexto largo y el razonamiento pueden multiplicar el costo. Más tokens de entrada aumentan el trabajo de atención y memoria, mientras que un razonamiento generado más largo añade pasos de inferencia adicionales.
- La infraestructura física importa. Los chips, la memoria de alto ancho de banda, la red, la refrigeración, la electricidad y las conexiones a la red son parte del producto, no detalles de fondo invisibles.
- La contratendencia es real. El costo de alcanzar un nivel fijo de rendimiento del modelo ha caído drásticamente debido a mejores chips, algoritmos, cuantización, modelos escasos y software de servicio.
- El veredicto práctico depende del valor por resultado. La IA generativa es derrochadora cuando se usa un modelo costoso indiscriminadamente, pero puede ser racional cuando reemplaza suficiente mano de obra, retraso o error para justificar el costo total.
¿Qué significa realmente "la IA generativa es un desastre de ingeniería"?
En este debate, "desastre de ingeniería" no significa que ChatGPT, Claude, Gemini o los modelos abiertos estén universalmente rotos. Describe una posible desalineación entre la experiencia del producto y la maquinaria necesaria para ofrecerlo. La interfaz se siente ligera: escribe una pregunta y recibe una respuesta. Detrás de esa interacción, sin embargo, un modelo grande puede leer miles de tokens de entrada, mover pesos del modelo y contexto en caché a través de la memoria del acelerador, calcular el siguiente token y repetir ese proceso hasta que la respuesta esté completa.
Los negocios de Internet tradicionales a menudo se vuelven más rentables a medida que crecen porque los costos fijos de desarrollo se distribuyen entre más clientes y el costo marginal de otra vista de página se vuelve minúsculo. La IA generativa también tiene costos fijos, pero también retiene un costo variable significativo. Cada conversación adicional consume tiempo del acelerador, ancho de banda de memoria y electricidad. El procesamiento por lotes, el almacenamiento en caché y los kernels optimizados pueden reducir ese costo, pero no hacen que la generación original sea gratuita.
| Presión de escalabilidad | Por qué puede volverse caro | Calificación importante |
|---|---|---|
| Más usuarios | Más indicaciones y tokens generados requieren más capacidad de inferencia. | El procesamiento por lotes y una mayor utilización pueden reducir el costo por token. |
| # ERROR: No se encontró texto fuente para el ID 'text_035'. | Más parámetros activos generalmente aumentan el movimiento de memoria y la computación. | Los modelos de mezcla de expertos activan solo una parte de la red para cada token. |
| Contexto más largo | El procesamiento de indicaciones y la caché de clave-valor crecen con la longitud de la conversación. | FlashAttention, atención dispersa y compresión de caché reducen la carga. |
| Más razonamiento | Los pasos de generación adicionales aumentan la latencia y el consumo de tokens. | El cómputo adicional puede valer la pena cuando mejora materialmente la precisión en tareas difíciles. |
| Entrenamiento de vanguardia | Clústeres más grandes, ejecuciones más largas y experimentos extensos requieren capital importante. | Mejores datos y entrenamiento óptimo en cómputo pueden superar al simple crecimiento de parámetros. |
| Salida no confiable | Las alucinaciones y el comportamiento inconsistente crean costos de revisión, prueba y corrección. | La recuperación, los flujos de trabajo con restricciones y la aprobación humana pueden mejorar la confiabilidad. |
Fuente: pexels.com
La IA generativa no es solo un problema de modelo. Los sistemas de producción también requieren planificación de capacidad, monitoreo, failover, seguridad, colas y control cuidadoso de la latencia y la utilización.
El primer problema de escalabilidad: servir cada respuesta cuesta cómputo real
Un motor de búsqueda, una plataforma de streaming o una red social también operan centros de datos costosos, por lo que el costo variable por sí solo no hace única a la IA generativa. La diferencia es la cantidad de cómputo nuevo asociado con cada respuesta personalizada. Un artículo en caché se puede entregar a millones de lectores con un procesamiento adicional limitado. Un modelo de lenguaje normalmente crea una nueva secuencia para cada usuario, un token a la vez.
La inferencia de producción tiene dos fases amplias. Durante el prellenado, , el modelo procesa la indicación de entrada y crea una caché interna. Durante la decodificación, , genera la salida secuencialmente mientras usa repetidamente los pesos del modelo y la caché de clave-valor. Es por eso que las indicaciones largas, los modelos grandes, la alta concurrencia y las respuestas largas pueden aumentar el costo. También es por eso que un agente de IA que realiza docenas de llamadas al modelo puede ser mucho más caro que la única solicitud de chat visible para el usuario.
La métrica comercial relevante, por lo tanto, no es simplemente "precio por millón de tokens". Un token más barato aún puede producir una factura más grande si los productos generan más tokens, adjuntan más documentos, ejecutan cadenas de pensamiento más largas o incluyen un asistente de IA en cada aplicación. Este efecto de rebote es una razón por la cual la demanda total de infraestructura puede aumentar incluso cuando los precios unitarios caen.
El segundo problema de escalabilidad: las ganancias de capacidad tienen rendimientos decrecientes
Las leyes de escalabilidad neuronal muestran que la pérdida del modelo de lenguaje tiende a mejorar de manera predecible a medida que aumentan el tamaño del modelo, los datos de entrenamiento y la computación. Esa previsibilidad ayudó a crear la estrategia moderna de modelos de vanguardia: invertir más computación y esperar un mejor rendimiento. Pero una relación de ley de potencia también implica rendimientos decrecientes. Continuar reduciendo el error restante puede requerir recursos desproporcionadamente mayores.
Esto no significa que cada nuevo modelo deba contener simplemente más parámetros. El trabajo de Chinchilla de Google DeepMind demostró que un modelo de 70 mil millones de parámetros entrenado con un equilibrio de datos y tamaño de modelo más óptimo en computación podría superar al modelo Gopher de 280 mil millones de parámetros con el mismo presupuesto de cómputo de entrenamiento. La lección es importante: el crecimiento de parámetros por fuerza bruta puede ser derrochador, y la calidad de los datos, la duración del entrenamiento, la arquitectura y la estrategia posterior al entrenamiento importan.
Fuente: pexels.com
El progreso del modelo de vanguardia depende de grandes clústeres de aceleradores que operan como un solo sistema. La comunicación, el acceso a la memoria y el manejo de fallas pueden volverse tan importantes como el rendimiento aritmético bruto.
El costo de entrenamiento también se extiende más allá de la ejecución final exitosa. Los desarrolladores de modelos realizan experimentos, preparación de datos, estudios de ablación, pruebas de seguridad y ejecuciones fallidas. Incluso cuando el público ve una única versión de un modelo, el programa de investigación subyacente puede consumir mucha más computación que la ejecución de entrenamiento principal por sí sola.
¿Un LLM realmente escala cuadráticamente?
La crítica viral a menudo dice que los grandes modelos de lenguaje "escalan cuadráticamente". Esa afirmación es parcialmente correcta pero demasiado amplia cuando se aplica a un servicio de IA completo. En la arquitectura Transformer original, la autoatención completa estándar tiene una complejidad computacional por capa de aproximadamente O(n² × d), donde es la longitud de la secuencia y es la dimensión de representación. Duplicar la longitud de la entrada puede hacer que la porción de atención del procesamiento de indicaciones sea mucho más costosa.
Sin embargo, un LLM implementado no es un único algoritmo cuadrático indiferenciado. La decodificación autorregresiva utiliza una caché de clave-valor para que los estados anteriores no tengan que recalcularse desde cero para cada nuevo token. El acceso a los pesos del modelo, el ancho de banda de la memoria, el tamaño del lote y la capacidad de la caché pueden dominar el rendimiento. Los sistemas modernos también utilizan FlashAttention, atención de consulta agrupada, atención dispersa, cuantización y técnicas de gestión de caché para reducir el tráfico de memoria y mejorar el rendimiento.
La conclusión precisa es más limitada: el contexto largo sigue siendo un desafío serio para los sistemas, especialmente durante el procesamiento de indicaciones y bajo alta concurrencia, pero "todo el modelo siempre cuesta n²" no es una descripción completa de la inferencia de producción.
Fuente: pexels.com
A escala, el rendimiento de la IA depende de mover datos eficientemente entre aceleradores, memoria y enlaces de red. Un cuello de botella en cualquier capa puede dejar el costoso hardware infrautilizado.
Por qué la electricidad, la memoria y los centros de datos son parte del problema de costos
La estructura de costos de la IA generativa es física. Los aceleradores avanzados requieren memoria de alto ancho de banda, interconexiones rápidas y refrigeración sustancial. Los centros de datos necesitan conexiones a la red, sistemas de respaldo, terreno, construcción y largos ciclos de adquisición. Cuando la demanda aumenta más rápido de lo que se pueden agregar chips, generación de energía o capacidad de transmisión, aparecen cuellos de botella locales.
La Agencia Internacional de Energía estimó que los centros de datos consumieron aproximadamente 415 teravatios-hora de electricidad en 2024, alrededor del 1.5% del uso global de electricidad. Su caso base proyecta aproximadamente 945 TWh para 2030. La AIE también espera que los servidores acelerados, en gran parte impulsados por la adopción de IA, representen casi la mitad del aumento neto en la demanda global de electricidad de los centros de datos hasta 2030.
A nivel mundial, esa participación sigue siendo menor que la de sectores importantes como la industria, el transporte o los edificios. Sin embargo, a nivel local, la demanda concentrada de centros de datos puede crear problemas difíciles de red y permisos. Un compañero útil es el análisis más amplio de Zerlo sobre la demanda de energía de la IA, los costos de infraestructura y la inversión.
Fuente: pexels.com
Los grandes despliegues de IA requieren supervisión operativa continua. La capacidad, la energía, las fallas, la latencia y la demanda de carga de trabajo deben equilibrarse en tiempo real en lugar de tratarse como un gasto de software único.
Por qué la afirmación de "desastre de ingeniería" es incompleta
El contraargumento más sólido es la velocidad de mejora de la eficiencia. El Índice de IA 2025 de Stanford informó que el costo de inferencia de un sistema con un rendimiento aproximadamente al nivel de GPT-3.5 cayó más de 280 veces entre noviembre de 2022 y octubre de 2024. El mismo informe citó disminuciones anuales de alrededor del 30% en el costo del hardware y mejoras anuales en la eficiencia energética de alrededor del 40%.
Estas ganancias provienen de varias capas de ingeniería:
- Mejores aceleradores: más cómputo y ancho de banda de memoria por vatio.
- Cuantización: pesos y cachés de menor precisión reducen el uso de memoria y aceleran la inferencia.
- Destilación: modelos más pequeños aprenden un comportamiento útil de sistemas más grandes.
- Mezcla de expertos: solo un subconjunto de parámetros se activa para cada token.
- Optimización de servicio: el procesamiento por lotes continuo, el almacenamiento en caché de prefijo y la decodificación especulativa mejoran la utilización.
- Enrutamiento de tareas: las solicitudes simples pueden ir a modelos pequeños, mientras que el trabajo difícil utiliza modelos costosos.
- Recuperación y herramientas: un modelo puede consultar una fuente de conocimiento enfocada en lugar de depender solo de recuentos de parámetros más grandes.
Es por eso que es un error asumir que la curva de costos de hoy es permanente. El riesgo central es que la demanda pueda crecer más rápido que la eficiencia. Si cada llamada al modelo se vuelve diez veces más barata, pero un producto realiza cien veces más llamadas, el costo total y el uso de energía aún aumentan.
Cuándo la IA generativa se convierte verdaderamente en un desastre de ingeniería
La etiqueta se vuelve justa cuando una empresa adopta la IA generativa sin diseñar en torno a sus limitaciones. Los patrones de falla comunes incluyen:
- Usar el modelo más grande para cada tarea. La clasificación, la extracción y el enrutamiento a menudo funcionan con sistemas mucho más pequeños.
- Enviar contexto excesivo. Cargar almacenes de documentos completos en las indicaciones aumenta la latencia y el costo, mientras que a veces reduce la calidad de la respuesta.
- Permitir bucles de agentes ilimitados. Los reintentos autónomos y las llamadas a herramientas pueden consumir grandes presupuestos de tokens sin producir un resultado útil.
- Ignorar el trabajo que se puede almacenar en caché. Las instrucciones repetidas, los documentos y las salidas deterministas no siempre deben recalcularse.
- Medir tokens en lugar de resultados. Los precios bajos de la API no tienen sentido si el sistema falla con frecuencia y los humanos deben rehacer el trabajo.
- Omitir la ingeniería de confiabilidad.
- Asumir que la IA reemplaza un flujo de trabajo completo. La integración, la revisión, el manejo de excepciones y el mantenimiento pueden exceder el costo de la llamada al modelo en sí.
Esto es similar a la pregunta más amplia de cómo las empresas pueden construir modelos de negocio de IA sostenibles: la medida relevante no es si una demostración parece impresionante, sino si el sistema completo produce más valor del que consume.
Cómo construir IA generativa sin heredar los peores problemas de costos
| Práctica de ingeniería | Qué medir | Por qué importa |
|---|---|---|
| Establecer un presupuesto por tarea exitosa | Costo total del modelo, infraestructura y revisión | Evita que los tokens baratos oculten flujos de trabajo fallidos y costosos. |
| Enrutar por dificultad | Tasa de éxito por nivel de modelo | Reserva modelos de vanguardia para las solicitudes que realmente los necesitan. |
| Controlar el contexto | Tokens de entrada, precisión de recuperación y latencia | Reduce la atención innecesaria y el crecimiento de la caché de clave-valor. |
| Limitar pasos del agente | Llamadas a herramientas, reintentos y tasa de finalización | Detiene bucles descontrolados y hace que los costos sean predecibles. |
| Almacenar en caché el trabajo repetido | Tasa de aciertos de caché y tokens evitados | Convierte algunas cargas de trabajo generativas en cargas de trabajo de servicio convencionales. |
| Diseñar para la abstención | Tasa de falsa confianza y calidad de escalada | Reduce el costo oculto de respuestas plausibles pero incorrectas. |
| Comparar con una línea de base sin IA | Tiempo, calidad y costo frente al proceso existente | Muestra si la IA está resolviendo un problema real o agregando complejidad. |
Los modelos más pequeños y locales también pueden ser útiles donde las cargas de trabajo son predecibles, la privacidad es importante o la dependencia de API es indeseable. No eliminan el costo del hardware, pero pueden facilitar el control de la capacidad y el manejo de datos. La guía de Zerlo sobre los mejores LLM locales para escritura sin conexión explica la compensación entre el tamaño del modelo, los requisitos de memoria y la capacidad práctica.
Preguntas frecuentes
¿Por qué la gente dice que la IA generativa es un desastre de ingeniería?
La frase se hizo prominente después de un artículo de The Atlantic de julio de 2026 que argumentaba que la IA generativa combina economías de escala deficientes, una demanda de infraestructura en rápido crecimiento y rendimientos decrecientes de modelos más grandes. Es una interpretación crítica, no un consenso técnico establecido.
¿La IA generativa se vuelve más cara a medida que gana usuarios?
El costo total normalmente aumenta con el uso porque cada indicación y token generado requiere computación. El costo por solicitud aún puede disminuir a través del procesamiento por lotes, mejor hardware, software optimizado y modelos más pequeños, por lo que la pregunta importante es si la eficiencia mejora más rápido que la demanda.
¿Los grandes modelos de lenguaje son realmente O(n²)?
La autoatención completa estándar tiene una complejidad computacional cuadrática en la longitud de la secuencia durante el cálculo de atención, lo que es especialmente relevante para el procesamiento de indicaciones. La inferencia de producción también utiliza caché de clave-valor y muchas optimizaciones, por lo que describir todo el servicio LLM simplemente como O(n²) es una simplificación excesiva.
¿Por qué una ventana de contexto de IA más larga cuesta más?
El modelo debe procesar más tokens de entrada y mantener más estado de atención en caché. El contexto largo puede aumentar la latencia de las indicaciones, el uso de memoria y el número de solicitudes simultáneas que caben en un acelerador. La atención dispersa, la compresión y una mejor gestión de la caché pueden reducir el impacto.
¿Los costos de inferencia de IA están cayendo o aumentando?
Ambas afirmaciones pueden ser ciertas. El costo de lograr una capacidad fija ha caído rápidamente, pero el gasto total puede aumentar porque el uso, la longitud del contexto, los tokens de razonamiento y las llamadas a agentes se expanden aún más rápido. El costo unitario y el costo total del sistema deben medirse por separado.
¿Pueden los modelos de IA más pequeños resolver el problema de escalabilidad?
Pueden resolver una parte de él. Los modelos pequeños son más baratos, más rápidos y más fáciles de implementar, y muchas tareas comerciales no requieren capacidades de vanguardia. El razonamiento difícil, el conocimiento amplio o el trabajo multimodal complejo pueden seguir justificando un modelo más grande, por lo que el enrutamiento entre niveles de modelos suele ser más eficiente que elegir un solo modelo para todo.
¿Es la IA generativa económicamente insostenible?
No necesariamente. La sostenibilidad depende del valor creado por resultado exitoso, el ritmo de las ganancias de eficiencia, los precios, la utilización y los costos de infraestructura. Un flujo de trabajo cuidadosamente delimitado puede ser rentable, mientras que un agente ilimitado o una función de IA indiscriminada pueden destruir su propia economía.
Conclusión
Llamar a la IA generativa un desastre de ingeniería captura una advertencia real: la tecnología puede ocultar enormes costos de computación, memoria, energía y verificación detrás de una interfaz simple. Servir a más usuarios no es gratis, el contexto largo es costoso y el progreso de vanguardia puede requerir recursos cada vez mayores para obtener ganancias menores.
Pero el titular no cuenta toda la historia. Los costos de inferencia de capacidad fija se han desplomado, las arquitecturas se están volviendo más escasas, los modelos más pequeños están mejorando y el software de producción está aprendiendo a usar la computación costosa de manera más selectiva. La IA generativa se convierte en un desastre cuando las organizaciones la tratan como magia ilimitada. Se convierte en un sistema de ingeniería cuando presupuestan cada resultado, enrutan las cargas de trabajo de manera inteligente, limitan el contexto y los agentes, y comparan honestamente el resultado con una alternativa más barata sin IA.