Почему генеративный ИИ — это инженерная катастрофа? Объяснение проблемы масштабирования и затрат
Фраза генеративный ИИ — это инженерная катастрофа стала популярной после статьи в Atlantic в июле 2026 года, в которой утверждалось, что отрасль создала ресурсоемкую технологию, затраты на которую не снижаются так же гладко с масштабированием, как затраты на традиционное программное обеспечение. Заголовок намеренно провокационный, но он поднимает серьезный вопрос: могут ли системы, генерирующие каждый ответ в реальном времени, стать достаточно дешевыми, надежными и устойчивыми, чтобы оправдать свою огромную инфраструктуру?
Наиболее сильная версия критики заключается не в том, что большие языковые модели никогда не работают. А в том, что их экономика может быть структурно неэффективной: обслуживание большего числа пользователей означает обработку большего количества токенов, более длинные контексты потребляют больше памяти, тренировочные запуски передовых моделей продолжают расти, а несовершенные выходные данные по-прежнему требуют проверки. В то же время ярлык «катастрофа» может вводить в заблуждение, поскольку цены на инференс, эффективность оборудования и производительность небольших моделей значительно улучшились.
Источник: Фото Бретт Сэйлс / Pexels
Ключевые выводы
- Критика в основном касается юнит-экономики. Генеративная модель должна выполнять вычисления для каждого запроса вместо того, чтобы возвращать только ранее сохраненную страницу или файл.
- Существуют две разные проблемы масштабирования. Одна касается стоимости обслуживания большего числа пользователей; другая — растущих вычислительных ресурсов, необходимых для повышения возможностей модели.
- Длинный контекст и рассуждения могут многократно увеличить стоимость. Большее количество входных токенов увеличивает работу по вниманию и памяти, а более длинные генерируемые рассуждения добавляют дополнительные шаги инференса.
- Физическая инфраструктура имеет значение. Чипы, память с высокой пропускной способностью, сетевое оборудование, охлаждение, электроэнергия и подключения к сети являются частью продукта, а не невидимыми фоновыми деталями.
- Контртренд реален. Стоимость достижения заданного уровня производительности модели резко снизилась благодаря лучшим чипам, алгоритмам, квантованию, меньшим моделям и программному обеспечению для обслуживания.
- Практический вердикт зависит от ценности результата. Генеративный ИИ расточителен, когда дорогая модель используется без разбора, но он может быть рационален, когда он заменяет достаточное количество труда, задержек или ошибок, чтобы оправдать полную стоимость.
Что на самом деле означает «генеративный ИИ — это инженерная катастрофа»?
В этой дискуссии «инженерная катастрофа» не означает, что ChatGPT, Claude, Gemini или открытые модели повсеместно не работают. Это описывает возможное несоответствие между пользовательским опытом и оборудованием, необходимым для его доставки. Интерфейс кажется легким: введите вопрос и получите ответ. Однако за этим взаимодействием большая модель может читать тысячи входных токенов, перемещать веса модели и кэшированный контекст через память ускорителя, вычислять следующий токен и повторять этот процесс до завершения ответа.
Традиционные интернет-компании часто становятся более прибыльными по мере роста, поскольку фиксированные затраты на разработку распределяются между большим количеством клиентов, а предельная стоимость еще одного просмотра страницы становится крошечной. Генеративный ИИ также имеет фиксированные затраты, но он также сохраняет значительные переменные затраты. Каждый дополнительный разговор потребляет время ускорителя, пропускную способность памяти и электроэнергию. Пакетная обработка, кэширование и оптимизированные ядра могут снизить эти затраты, но они не делают оригинальную генерацию бесплатной.
| Давление масштабирования | Почему это может стать дорогим | Важная оговорка |
|---|---|---|
| Больше пользователей | Больше запросов и сгенерированных токенов требуют большей мощности инференса. | Пакетная обработка и более высокая утилизация могут снизить стоимость за токен. |
| # ОШИБКА: Исходный текст для ID 'text_035' не найден. | Больше активных параметров обычно увеличивает перемещение памяти и вычисления. | Смесь экспертов активирует только часть сети для каждого токена. |
| Длинный контекст | Обработка запросов и пара ключ-значение кэшируются и растут с длиной разговора. | FlashAttention, разреженное внимание и сжатие кэша снижают нагрузку. |
| Больше рассуждений | Дополнительные сгенерированные шаги увеличивают задержку и потребление токенов. | Дополнительные вычисления могут быть оправданы, когда они существенно повышают точность решения сложных задач. |
| Тренировка на передовых моделях | Более крупные кластеры, более длительные запуски и обширные эксперименты требуют больших капиталовложений. | Лучшие данные и вычислительно-оптимальная тренировка могут превзойти простой рост параметров. |
| Ненадежный вывод | Галлюцинации и непоследовательное поведение создают затраты на проверку, тестирование и исправление. | Поиск, ограниченные рабочие процессы и одобрение человека могут повысить надежность. |
Источник: pexels.com
Генеративный ИИ — это не только проблема модели. Производственные системы также требуют планирования мощностей, мониторинга, отказоустойчивости, безопасности, очередей и тщательного контроля задержки и утилизации.
Первая проблема масштабирования: предоставление каждого ответа требует реальных вычислений
Поисковая система, потоковая платформа или социальная сеть также эксплуатируют дорогие дата-центры, поэтому одни только переменные затраты не делают генеративный ИИ уникальным. Разница заключается в объеме свежих вычислений, связанных с каждым персонализированным ответом. Кэшированная статья может быть доставлена миллионам читателей с ограниченной дополнительной обработкой. Языковая модель обычно создает новую последовательность для каждого пользователя, один токен за раз.
Производственный инференс имеет две основные фазы. Во время prefill, , модель обрабатывает входной запрос и создает внутренний кэш. Во время decoding, , она генерирует вывод последовательно, неоднократно используя веса модели и кэш ключ-значение. Вот почему длинные запросы, большие модели, высокая параллельность и длинные ответы могут увеличить стоимость. Также именно поэтому ИИ-агент, совершающий десятки вызовов модели, может быть намного дороже, чем один запрос чата, видимый пользователю.
Следовательно, соответствующий бизнес-показатель — это не просто «цена за миллион токенов». Более дешевый токен все равно может привести к более крупному счету, если продукты генерируют больше токенов, прикрепляют больше документов, запускают более длинные цепочки рассуждений или помещают ИИ-помощника в каждое приложение. Этот эффект отскока является одной из причин, по которой общий спрос на инфраструктуру может расти, даже когда цены за единицу падают.
Вторая проблема масштабирования: прирост возможностей имеет убывающую отдачу
Законы масштабирования нейронных сетей показывают, что ошибка языковой модели имеет тенденцию предсказуемо улучшаться с увеличением размера модели, обучающих данных и вычислительных ресурсов. Эта предсказуемость помогла создать современную стратегию передовых моделей: инвестировать больше вычислительных ресурсов и ожидать лучшей производительности. Но степенная зависимость также подразумевает убывающую отдачу. Продолжение снижения остаточной ошибки может потребовать непропорционально больших ресурсов.
Это не означает, что каждая новая модель должна просто содержать больше параметров. Работа Google DeepMind над Chinchilla показала, что модель с 70 миллиардами параметров, обученная с более вычислительно-оптимальным балансом данных и размера модели, могла превзойти модель Gopher с 280 миллиардами параметров при том же бюджете вычислительных ресурсов для обучения. Урок важен: грубый рост параметров может быть расточительным, а качество данных, продолжительность обучения, архитектура и стратегия после обучения имеют значение.
Источник: pexels.com
Прогресс передовых моделей зависит от больших кластеров ускорителей, работающих как единая система. Коммуникации, доступ к памяти и обработка отказов могут стать столь же важными, как и чистая арифметическая производительность.
Затраты на обучение также выходят за рамки финального успешного запуска. Разработчики моделей проводят эксперименты, подготовку данных, абляционные исследования, тестирование безопасности и неудачные запуски. Даже когда общественность видит один выпуск модели, программа исследований, лежащая в основе, может потреблять гораздо больше вычислительных ресурсов, чем один только заголовочный обучающий запуск.
Действительно ли LLM масштабируются квадратично?
Вирусная критика часто утверждает, что большие языковые модели «масштабируются квадратично». Это утверждение частично верно, но слишком широко, когда применяется ко всему ИИ-сервису. В исходной архитектуре Transformer стандартное полное самовнимание имеет вычислительную сложность на слой примерно O(n² × d), где — длина последовательности, а — размерность представления. Удвоение входной длины, следовательно, может сделать часть обработки запроса, связанную с вниманием, гораздо более дорогостоящей.
Однако развернутый LLM — это не один неопределенный квадратичный алгоритм. Авторегрессионное декодирование использует кэш ключ-значение, поэтому предыдущие состояния не нужно пересчитывать с нуля для каждого нового токена. Доступ к весам модели, пропускная способность памяти, размер пакета и емкость кэша могут доминировать в производительности. Современные системы также используют FlashAttention, групповое внимание к запросам, разреженное внимание, квантование и методы управления кэшем для снижения трафика памяти и повышения пропускной способности.
Точное заключение более узкое: длинный контекст остается серьезной системной проблемой, особенно во время обработки запросов и при высокой параллельности, но «вся модель всегда стоит n²» не является полным описанием производственного инференса.
Источник: pexels.com
В масштабе производительность ИИ зависит от эффективной передачи данных между ускорителями, памятью и сетевыми каналами. Узкое место на любом уровне может оставить дорогое оборудование недоиспользованным.
Почему электричество, память и дата-центры являются частью проблемы затрат
Структура затрат генеративного ИИ физична. Современные ускорители требуют памяти с высокой пропускной способностью, быстрых межсоединений и существенного охлаждения. Дата-центрам нужны подключения к сети, резервные системы, земля, строительство и длительные циклы закупок. Когда спрос растет быстрее, чем могут быть добавлены чипы, мощность генерации или пропускная способность передачи, появляются локальные узкие места.
Международное энергетическое агентство оценило, что в 2024 году дата-центры потребляли около 415 тераватт-часов электроэнергии, что составляет примерно 1,5% мирового потребления электроэнергии. Их базовый прогноз предполагает около 945 ТВтч к 2030 году. МГЭ также ожидает, что ускоренные серверы, в основном обусловленные внедрением ИИ, будут составлять почти половину чистого прироста мирового спроса на электроэнергию для дата-центров до 2030 года.
В глобальном масштабе эта доля остается меньше, чем в крупных секторах, таких как промышленность, транспорт или здания. Однако локально концентрированный спрос дата-центров может создавать трудные проблемы с сетью и разрешительной документацией. Полезным дополнением является более широкий анализ Zerlo о спросе на энергию в ИИ, затратах на инфраструктуру и инвестициях.
Источник: pexels.com
Крупные развертывания ИИ требуют постоянного операционного надзора. Мощности, энергопотребление, сбои, задержки и спрос на рабочую нагрузку должны балансироваться в реальном времени, а не рассматриваться как одноразовые расходы на программное обеспечение.
Почему утверждение «инженерная катастрофа» неполное
Самый сильный контраргумент — скорость улучшения эффективности. Отчет Stanford AI Index за 2025 год показал, что стоимость инференса системы, работающей примерно на уровне GPT-3.5, снизилась более чем в 280 раз между ноябрем 2022 года и октябрем 2024 года. Тот же отчет привел ежегодное снижение стоимости оборудования примерно на 30% и ежегодное повышение энергоэффективности примерно на 40%.
Эти достижения достигаются благодаря нескольким уровням инженерии:
- Лучшие ускорители: больше вычислений и пропускной способности памяти на ватт.
- Квантование: веса и кэши с более низкой точностью снижают использование памяти и ускоряют инференс.
- Дистилляция: меньшие модели обучаются полезному поведению у более крупных систем.
- Смесь экспертов: для каждого токена активируется только подмножество параметров.
- Оптимизация обслуживания: непрерывное пакетное обслуживание, кэширование префиксов и спекулятивное декодирование улучшают утилизацию.
- Маршрутизация задач: простые запросы могут направляться к небольшим моделям, а сложная работа выполняется дорогими моделями.
- Поиск и инструменты: модель может обращаться к сфокусированному источнику знаний вместо того, чтобы полагаться только на большее количество параметров.
Вот почему неверно предполагать, что сегодняшняя кривая затрат постоянна. Основной риск заключается в том, что спрос может расти быстрее, чем эффективность. Если каждый вызов модели становится в десять раз дешевле, а продукт делает в сто раз больше вызовов, общие затраты и энергопотребление все равно растут.
Когда генеративный ИИ действительно становится инженерной катастрофой
Ярлык становится справедливым, когда компания внедряет генеративный ИИ, не учитывая его ограничения. Частые модели отказов включают:
- Использование самой большой модели для каждой задачи. Классификация, извлечение и маршрутизация часто работают с гораздо меньшими системами.
- Передача избыточного контекста. Помещение всего хранилища документов в запросы увеличивает задержку и стоимость, а иногда снижает качество ответов.
- Разрешение неограниченных циклов агентов. Автоматические повторные попытки и вызовы инструментов могут потреблять большие бюджеты токенов, не давая полезного результата.
- Игнорирование кэшируемой работы. Повторяющиеся инструкции, документы и детерминированные выходные данные не всегда должны пересчитываться.
- Измерение токенов вместо результатов. Низкие цены API бессмысленны, если система часто терпит неудачу, и людям приходится переделывать работу.
- Пропуск инженерии надежности.
- Предположение, что ИИ заменяет полный рабочий процесс. Интеграция, проверка, обработка исключений и обслуживание могут превышать стоимость самого вызова модели.
Это похоже на более широкий вопрос о том, как компании могут создавать устойчивые бизнес-модели ИИ: соответствующая мера — не то, впечатляюще ли выглядит демо, а то, создает ли полная система больше ценности, чем потребляет.
Как построить генеративный ИИ, избежав худших проблем с затратами
| Инженерная практика | Что измерять | Почему это важно |
|---|---|---|
| Установите бюджет на успешную задачу | Общая стоимость модели, инфраструктуры и проверки | Предотвращает скрывание дорогих неудачных рабочих процессов под видом дешевых токенов. |
| Маршрутизируйте по сложности | Процент успешных запросов по уровню модели | Резервирует передовые модели для запросов, которые действительно в них нуждаются. |
| Контролируйте контекст | Входные токены, точность поиска и задержка | Уменьшает ненужное внимание и рост кэша ключ-значение. |
| Ограничьте шаги агента | Вызовы инструментов, повторные попытки и процент завершения | Останавливает неуправляемые циклы и делает затраты предсказуемыми. |
| Кэшируйте повторяющуюся работу | Процент попаданий в кэш и пропущенные токены | Преобразует некоторые генеративные рабочие нагрузки в обычные обслуживающие рабочие нагрузки. |
| Дизайн для отказа | Процент ложной уверенности и качество эскалации | Снижает скрытые затраты на правдоподобные, но ошибочные ответы. |
| Сравните с базовой линией без ИИ | Время, качество и стоимость по сравнению с существующим процессом | Показывает, решает ли ИИ реальную проблему или добавляет сложность. |
Меньшие и локальные модели также могут быть полезны, когда рабочие нагрузки предсказуемы, важна конфиденциальность или зависимость от API нежелательна. Они не устраняют затраты на оборудование, но могут облегчить управление мощностями и обработкой данных. Руководство Zerlo по лучшим локальным LLM для автономного письма объясняет компромисс между размером модели, требованиями к памяти и практической производительностью.
FAQ
Почему говорят, что генеративный ИИ — это инженерная катастрофа?
Эта фраза стала популярной после статьи в Atlantic в июле 2026 года, в которой утверждалось, что генеративный ИИ сочетает плохую экономию от масштабирования, быстро растущий спрос на инфраструктуру и убывающую отдачу от более крупных моделей. Это критическая интерпретация, а не устоявшийся технический консенсус.
Становится ли генеративный ИИ дороже по мере привлечения большего числа пользователей?
Общая стоимость обычно растет с увеличением использования, поскольку каждый запрос и сгенерированный токен требуют вычислений. Стоимость на запрос может по-прежнему снижаться за счет пакетной обработки, лучшего оборудования, оптимизированного программного обеспечения и меньших моделей, поэтому важный вопрос заключается в том, улучшается ли эффективность быстрее, чем растет спрос.
Действительно ли большие языковые модели работают по принципу O(n²)?
Стандартное полное самовнимание имеет квадратичную вычислительную сложность по длине последовательности во время расчета внимания, что особенно важно для обработки запросов. Производственный инференс также использует кэширование ключ-значение и множество оптимизаций, поэтому описание всего LLM-сервиса как просто O(n²) является упрощением.
Почему более длинное контекстное окно ИИ стоит дороже?
Модель должна обрабатывать больше входных токенов и поддерживать больше кэшированного состояния внимания. Длинный контекст может увеличить задержку запроса, использование памяти и количество одновременных запросов, которые помещаются на ускоритель. Разреженное внимание, сжатие и лучшее управление кэшем могут снизить этот эффект.
Снижаются или растут ли затраты на инференс ИИ?
Оба утверждения могут быть верными. Стоимость достижения фиксированных возможностей быстро снизилась, но общие расходы могут расти, поскольку использование, длина контекста, токены для рассуждений и вызовы агентов расширяются еще быстрее. Стоимость единицы и общая стоимость системы должны измеряться отдельно.
Могут ли меньшие модели ИИ решить проблему масштабирования?
Они могут решить часть проблемы. Маленькие модели дешевле, быстрее и проще в развертывании, а многие бизнес-задачи не требуют передовых возможностей. Сложные рассуждения, широкий спектр знаний или сложная мультимодальная работа могут по-прежнему оправдывать использование более крупной модели, поэтому маршрутизация между уровнями моделей часто более эффективна, чем выбор одной модели для всего.
Является ли генеративный ИИ экономически неустойчивым?
Не обязательно. Устойчивость зависит от ценности, созданной за успешный результат, темпов повышения эффективности, ценообразования, утилизации и затрат на инфраструктуру. Тщательно ограниченный рабочий процесс может быть прибыльным, в то время как неограниченный агент или беспорядочная функция ИИ могут разрушить свою собственную экономику.
Основной вывод
Называя генеративный ИИ инженерной катастрофой, мы улавливаем реальное предупреждение: технология может скрывать огромные затраты на вычисления, память, энергию и проверку за простым интерфейсом. Обслуживание большего числа пользователей не бесплатно, длинный контекст дорог, а прогресс на передовом рубеже может требовать быстро растущих ресурсов за меньшую отдачу.
Но заголовок — это еще не вся история. Стоимость инференса при фиксированной производительности рухнула, архитектуры становятся более разреженными, меньшие модели улучшаются, а производственное программное обеспечение учится более избирательно использовать дорогостоящие вычисления. Генеративный ИИ становится катастрофой, когда организации рассматривают его как безграничную магию. Он становится инженерной системой, когда они бюджетируют каждый результат, разумно маршрутизируют рабочие нагрузки, ограничивают контекст и агентов, и честно сравнивают результат с более дешевой альтернативой без ИИ.