生成式人工智能为何是一场工程灾难？规模和成本问题解析
短语 生成式人工智能是一场工程灾难 在 2026 年 7 月的一篇《大西洋月刊》文章发布后激增，该文章认为该行业构建了一项资源密集型技术，其成本不像传统软件成本那样随着规模的增长而平稳下降。标题故意挑衅，但它指向一个严肃的问题：能否够将实时生成每个答案的系统足够快速地变得更便宜、更可靠、更可持续，以证明其庞大的基础设施是合理的？
批评的最有力版本并非说大型语言模型永远行不通。而是说它们的经济性可能在结构上很尴尬：服务更多用户意味着处理更多 token，更长的上下文消耗更多内存，前沿训练运行不断增长，不完美的输出仍然需要验证。与此同时，“灾难”这个标签可能具有误导性，因为推理价格、硬件效率和小型模型性能都有了显著的提高。
来源: 图片来源：Brett Sayles / Pexels
要点总结
- 批评主要关于单位经济学。 生成模型必须为每个请求执行新的计算，而不是仅返回预先存储的页面或文件。
- 存在两种不同的规模化问题。 一种与服务更多用户的成本有关；另一种与推动模型能力所需不断增长的计算量有关。
- 长上下文和推理会成倍增加成本。 更多的输入 token 会增加注意力机制和内存的工作量，而更长的推理生成则会增加额外的推理步骤。
- 物理基础设施很重要。 芯片、高带宽内存、网络、冷却、电力和电网连接是产品的一部分，而不是看不见的背景细节。
- 反趋势真实存在。 由于更优的芯片、算法、量化、稀疏模型和服务软件，达到固定模型性能水平的成本已急剧下降。
- 实际判决取决于结果的价值。 当昂贵的模型被滥用时，生成式人工智能是浪费的，但当它能够替代足够的劳动力、延迟或错误以证明其总成本是合理的时候，它就是理性的。
“生成式人工智能是一场工程灾难”究竟意味着什么？
在这场辩论中，“工程灾难”并非指 ChatGPT、Claude、Gemini 或开源模型普遍存在缺陷。它描述的是产品体验与交付它所需的机器之间可能存在的失配。界面感觉很轻巧：输入一个问题，得到一个答案。然而，在该交互的背后，一个大型模型可能需要读取数千个输入 token，将模型权重和缓存的上下文通过加速器内存移动，计算下一个 token，并重复该过程直到响应完成。
传统的互联网企业往往随着增长而变得更有利可图，因为固定开发成本由更多的客户分摊，而另一个页面浏览量的边际成本变得微乎其微。生成式人工智能也有固定成本，但它也保留了有意义的可变成本。每次额外的对话都会消耗加速器时间、内存带宽和电力。批处理、缓存和优化的内核可以降低成本，但它们无法使原始生成免费。
| 规模化压力 | 为何可能变得昂贵 | 重要限定 |
|---|---|---|
| 更多用户 | 更多的提示和生成的 token 需要更多的推理能力。 | 批处理和更高的利用率可以降低每个 token 的成本。 |
| # 错误：找不到 ID 'text_035' 的源文本。 | 更多活动参数通常会增加内存移动和计算。 | 混合专家模型（Mixture-of-experts）模型每次只为每个 token 激活网络的一部分。 |
| 更长的上下文 | 提示处理和键值缓存（key-value cache）随对话长度增长。 | FlashAttention、稀疏注意力（sparse attention）和缓存压缩（cache compression）减轻了负担。 |
| 更多的推理 | 额外的生成步骤会增加延迟和 token 消耗。 | 当额外的计算能够显著提高困难任务的准确性时，它是值得的。 |
| 前沿训练 | 更大的集群、更长的训练时间和广泛的实验需要巨大的资本。 | 更好的数据和计算最优训练（compute-optimal training）可以超越简单的参数增长。 |
| 不可靠的输出 | 幻觉（hallucinations）和不一致的行为会产生审查、测试和纠正成本。 | 检索（retrieval）、约束工作流（constrained workflows）和人工审批（human approval）可以提高可靠性。 |
来源: pexels.com
生成式人工智能不仅仅是模型问题。生产系统还需要容量规划、监控、故障转移、安全、排队以及对延迟和利用率的仔细控制。
第一个规模化问题：生成每个答案都需要真实的计算量
搜索引擎、流媒体平台或社交网络也运行昂贵的数据中心，因此仅可变成本并不能使生成式人工智能独一无二。不同之处在于与每个个性化响应相关的新计算量。一个缓存的 artikle 可以以有限的额外处理量传递给数百万读者。语言模型通常为每个用户一次生成一个新的序列，一次一个 token。
生产推理有两个主要阶段。在 预填充（prefill）, 阶段，模型处理输入提示并构建内部缓存。在 解码（decoding）, 阶段，它按顺序生成输出，同时反复使用模型权重和键值缓存。这就是为什么长提示、大模型、高并发和长答案都会增加成本。这也解释了为什么一个进行过多次模型调用的 AI 代理可能比用户看到的单个聊天请求昂贵得多。
因此，相关的业务指标不仅仅是“每百万 token 的价格”。一个更便宜的 token 如果产品生成了更多的 token，附加了更多的文档，运行了更长的思考链（chain of thought）或将 AI 助手内嵌到每个应用程序中，仍然可能导致更高的账单。这种反弹效应是总基础设施需求可能上升，即使单位价格下降的一个原因。
第二个规模化问题：能力提升的收益递减
神经规模化法则（Neural scaling laws）表明，随着模型大小、训练数据和计算量的增加，语言模型的损失（loss）往往会呈现可预测的改善。这种可预测性促成了现代前沿模型策略的形成：投入更多的计算量并期望更好的性能。但幂律关系（power-law relationship）也意味着收益递减。持续减少剩余错误可能需要不成比例的资源。
这并不意味着每个新模型都必须包含更多的参数。Google DeepMind 的 Chinchilla 工作表明，一个具有 700 亿参数、以更计算最优平衡的数据和模型大小进行训练的模型，在相同的训练计算预算下，可以优于 2800 亿参数的 Gopher 模型。这个教训很重要：蛮力参数增长可能是浪费的，数据质量、训练时间、架构和训练后策略都很重要。
来源: pexels.com
前沿模型的进步取决于大型加速器集群作为一个系统协同工作。通信、内存访问和故障处理的重要性可能与原始算术性能一样。
训练成本也超出了最终的成功运行。模型开发者会进行实验、数据准备、消融研究（ablation studies）、安全测试和失败的运行。即使公众看到一个模型发布，底层研究项目也可能消耗比仅头条新闻训练运行多得多的计算量。
大型语言模型真的呈二次方扩展吗？
病毒式的批评常常说大型语言模型“呈二次方扩展”。这个说法部分正确，但应用于整个 AI 服务时过于宽泛。在原始 Transformer 架构中，标准的完全自注意力（full self-attention）的每层计算复杂度约为 O(n² × d)，其中 n 是序列长度，d 是表示维度。因此，将输入长度加倍可能会使提示处理的注意力部分成本大大增加。
然而，部署的 LLM 并非一个无差别的二次方算法。自回归解码（autoregressive decoding）使用键值缓存，因此不必为每个新 token 从头重新计算早期状态。模型权重访问、内存带宽、批处理大小和缓存容量可能决定性能。现代系统还使用 FlashAttention、分组查询注意力（grouped-query attention）、稀疏注意力、量化和缓存管理技术来减少内存流量并提高吞吐量。
准确的结论更为狭窄： 长上下文仍然是一个严峻的系统挑战，尤其是在提示处理和高并发下，但“整个模型始终成本为 n²”并不完全描述生产推理。
来源: pexels.com
在规模化时，AI 性能取决于加速器、内存和网络链接之间的数据高效传输。任何层中的瓶颈都可能导致昂贵的硬件利用不足。
为何电力、内存和数据中心是成本问题的一部分
生成式人工智能的成本结构是物理性的。先进的加速器需要高带宽内存、快速互连和大量冷却。数据中心需要电网连接、备用系统、土地、建设和漫长的采购周期。当需求增长速度超过芯片、发电或输电能力的增加时，就会出现局部瓶颈。
国际能源署估计，2024 年数据中心消耗了约 415 太瓦时（TWh）的电力，约占全球电力使用的 1.5%。其基准情景预测到 2030 年将达到约 945 TWh。能源署还预计，到 2030 年，加速服务器（主要由人工智能采用驱动）将占全球数据中心电力需求净增长的近一半。
在全球范围内，这一比例仍小于工业、交通或建筑等主要行业。然而，在局部，集中的数据中心需求可能会造成困难的电网和审批问题。一个有用的伴侣是 Zerlo 关于 AI 能源需求、基础设施成本和投资.
来源: pexels.com
大型人工智能部署需要持续的运营监督。容量、电力、故障、延迟和工作负载需求必须实时平衡，而不是被视为一次性的软件费用。
为何“工程灾难”的说法不完整
最有力的反驳论点是效率改进的速度。斯坦福大学 2025 年人工智能指数报告称，在 2022 年 11 月至 2024 年 10 月期间，性能与 GPT-3.5 大致相当的系统的推理成本下降了 280 多倍。同一份报告引用了硬件成本每年约 30% 的下降和能源效率每年约 40% 的提高。
这些收益来自多个工程层级：
- 更优的加速器： 每瓦计算量和内存带宽更高。
- 量化： 较低精度的权重和缓存可减少内存使用并加快推理。
- 蒸馏： 更小的模型可以从更大的系统中学习有用的行为。
- 专家混合： 每次只激活网络的一部分参数。
- 服务优化： 连续批处理、前缀缓存和预测解码（speculative decoding）可提高利用率。
- 任务路由： 简单的请求可以交给小型模型，而困难的工作则使用昂贵的模型。
- 检索和工具： 模型可以咨询集中的知识源，而不是仅依赖更多的参数。
这就是为什么假设今天的成本曲线是永久性的错误。核心风险在于需求增长的速度可能超过效率。如果每次模型调用的成本降低十倍，但一个产品进行了百倍的模型调用，总成本和能源消耗仍然会上升。
何时生成式人工智能真正成为工程灾难
当一家公司在没有设计好应对其限制的情况下采用生成式人工智能时，这个标签才变得公平。常见的失败模式包括：
- 将最大的模型用于每项任务。 分类、提取和路由通常可以使用小型得多的系统。
- 发送过多的上下文。 将整个文档库塞入提示会增加延迟和成本，同时有时会降低答案质量。
- 允许无界代理循环。 自动重试和工具调用可能会消耗大量的 token 预算而没有产生有用的结果。
- 忽略可缓存的工作。 重复的指令、文档和确定性输出不应总是重新计算。
- 衡量 token 而非结果。 如果系统经常失败并且人类必须重做工作，那么低 API 价格是毫无意义的。
- 跳过可靠性工程。
- 假定人工智能取代了整个工作流程。 集成、审查、异常处理和维护的成本可能超过了模型调用本身的成本。
这类似于更广泛的问题： 公司如何构建可持续的 AI 业务模型：相关的衡量标准不是演示是否看起来令人印象深刻，而是完整的系统产生的价值是否大于其消耗的价值。
如何构建生成式人工智能而不继承最差的成本问题
| 工程实践 | 衡量什么 | 为何重要 |
|---|---|---|
| 为每次成功任务设定预算 | 模型、基础设施和审查总成本 | 防止廉价 token 掩盖昂贵且失败的工作流。 |
| 按难度路由 | 按模型层级划分的成功率 | 将前沿模型保留给真正需要它们的请求。 |
| 控制上下文 | 输入 token、检索精度和延迟 | 减少不必要的注意力和键值缓存增长。 |
| 限制代理步骤 | 工具调用、重试和完成率 | 阻止失控循环并使成本可预测。 |
| 缓存重复工作 | 缓存命中率和避免的 token | 将一些生成式工作负载转化为传统的服务工作负载。 |
| 设计为能够拒绝（abstention） | 错误置信率和升级质量 | 减少看似合理但错误答案的隐藏成本。 |
| 与非 AI 基线进行比较 | 与现有流程相比的时间、质量和成本 | 显示 AI 是否解决了真实问题或增加了复杂性。 |
更小和本地的模型在工作负载可预测、隐私重要或不希望依赖 API 的情况下也很有用。它们不会消除硬件成本，但可以使容量和数据处理更容易控制。Zerlo 的指南，关于 离线写作的最佳本地 LLM 解释了模型大小、内存需求和实际能力之间的权衡。
常见问题解答
为什么有人说生成式人工智能是一场工程灾难？
该短语在 2026 年 7 月《大西洋月刊》的一篇文章中流行起来，该文章认为生成式人工智能结合了糟糕的规模经济、迅速增长的基础设施需求以及大型模型日益递减的回报。这是一种批评性的解读，而非业已达成的技术共识。
生成式人工智能随着用户增多而变得更昂贵吗？
由于每次提示和生成的 token 都需要计算，总成本通常会随着使用量的增加而上升。通过批处理、更好的硬件、优化的软件和更小的模型，每个请求的成本仍然可以下降，因此重要的问题是效率提高的速度是否快于需求的增长。
大型语言模型真的具有 O(n²) 复杂度吗？
在注意力计算过程中，标准的完全自注意力在序列长度上具有二次方计算复杂度，这尤其与提示处理相关。生产推理还使用键值缓存和许多优化，因此将整个 LLM 服务简单地描述为 O(n²) 是过度简化。
为什么更长的 AI 上下文窗口成本更高？
模型必须处理更多的输入 token 并维护更多的缓存注意力状态。长上下文会增加提示延迟、内存使用量以及能够装入加速器的并发请求数量。稀疏注意力、压缩和更好的缓存管理可以减少影响。
AI 推理成本是下降还是上升？
两种说法都可能是正确的。实现固定能力的成本已迅速下降，但总支出可能会上升，因为使用量、上下文长度、推理 token 和代理调用增长得更快。必须分别衡量单位成本和总系统成本。
较小的 AI 模型能否解决规模化问题？
它们可以解决其中的一部分。小型模型更便宜、更快、更容易部署，许多业务任务不需要前沿能力。困难的推理、广泛的知识或复杂的跨模态工作可能仍然需要更大的模型，这就是为什么在模型层级之间进行路由通常比为所有任务选择一个模型更有效。
生成式人工智能在经济上是否不可持续？
不一定。可持续性取决于每次成功产出产生的价值、效率提升的速度、定价、利用率和基础设施成本。一个精心界定的工作流可能是盈利的，而一个无界的代理或无差别的 AI 功能可能会破坏其自身的经济效益。
底线
将生成式人工智能称为工程灾难，抓住了真实的警告：该技术可以在简单的界面背后隐藏巨大的计算、内存、电力和验证成本。服务更多用户不是免费的，长上下文是昂贵的，而前沿进展可能需要不断增加的资源才能取得较小的进展。
但标题并非故事的全部。固定能力推理成本已大幅下降，架构变得越来越稀疏，小型模型正在改进，生产软件也正在学会更选择性地使用昂贵的计算。当组织将生成式人工智能视为无限的魔法时，它就成了一场灾难。当它们为每次产出进行预算，智能地路由工作负载，约束上下文和代理，并诚实地将其结果与更便宜的非 AI 替代方案进行比较时，它就成了一个工程系统。