AI存储危机:数据洪流恐至
人工智能(AI)的飞速发展导致了前所未有的数据洪流,将全球存储容量推向了极限。硬盘日益稀缺,SSD价格不断上涨,数据中心也在以惊人的速度扩张,其速度已经超出了供应链的承受能力。这场发展最终导致了一场存储危机,这场危机不仅影响着超大规模数据中心,也给企业和个人用户带来了挑战。
引言
根本的驱动力显而易见: Generative KI und andere datenhungrige Anwendungen treiben eine Daten- und Speicherexplosion voran. 与此同时,存储芯片和硬盘的生产正面临着物理、财务和环境上的极限。这种结合导致了一场存储危机,这场危机从超大规模数据中心蔓延到企业和个人用户的日常生活中 (CineD).
全球数据量正朝着 200 Zettabyte gespeicherter Daten bis 2025, 的方向增长,而AI数据中心则吞噬了越来越多的可用存储和存储模块产能。IDC预测,到2025年,“全球数据圈”将达到约 175 Zettabyte anwächst. 。这对企业意味着,存储不再是理所当然的“廉价且无限”的资源,而是变成了稀缺的生产要素,价格、交付周期和环境成本都在不断攀升 (Tom’s Hardware).
AI存储需求
近年来,全球产生的数据量呈爆炸式增长。Statista的数据(由Rivery分析)显示,2024年全球数据总量已达 149 Zettabyte ,并预计到2025年底将达到约181ZB。Exploding Topics根据类似的Statista数据得出结论,2025年全球将产生约 181 Zettabyte an Daten generiert werden ,并且每天将产生约4.0274亿TB。
这种增长的一个重要部分直接或间接与AI相关。企业正在构建用于训练数据的数据湖,存储每个版本拥有几十TB的模式检查点,并保留海量的日志和遥测数据用于评估和监控 (CIO.com). IDC/Seagate的报告“Data Age 2025”估计,为了应对到2025年的数据洪流,需要交付超过 22 Zettabyte an zusätzlicher Speicherkapazität (包括所有介质),其中近59%将来自HDD行业。
与此同时,存储行业的力量对比正在发生转变。Tom’s Hardware报道称,AI数据中心正在全球范围内吸收DRAM、NAND闪存和HDD容量的很大一部分,从而为一场 „Preiskrise“ über das gesamte Jahrzehnt bereiten. 的发生奠定了基础。存储制造商Adata的董事甚至表示,这是他职业生涯中第一次DRAM、NAND闪存和硬盘同时出现短缺的局面,因为专注于AI的云服务提供商正在直接采购大部分原材料 Tom’s Hardware).
数据中心濒临极限
IDC和Seagate预测,到2025年全球数据圈将达到 175 Zettabyte. 。Cybersecurity Ventures同时预计,到2025年全球将有超过 200 Zettabyte an Daten speichert.
。即使没有AI,这本身也将是一个挑战。根据IDC的数据,这些数据中的大部分将需要由企业存储、分析和保护,这将导致在存储基础设施方面进行巨额投资 (i-scoop.eu). 然而,随着AI浪潮的到来,这种情况得到了显著加剧。IoT Analytics的一份报告估计,2024年数据中心设备和基础设施的支出将达到 290 Milliarden US-Dollar, ,并且到2030年市场规模预计将增长到1万亿美元,这主要受AI工作负载的驱动。McKinsey估计,到2030年全球将有 6,7 Billionen US-Dollar Investitionen in Rechenzentren, ,其中5.2万亿专门用于AI基础设施。
与此同时,一些供应商正在制定极端的扩张目标。Google内部的一次演讲(PC Gamer曾报道)描述了在六个月内将AI服务容量翻倍,并在四到五年内扩展1000倍的目标 PC Gamer). Tom’s Hardware引用估计称,OpenAI计划的 250 Gigawatt Rechenkapazität bis 2033 的电力消耗将相当于印度整个国家的电力消耗。而Meta(根据Blocks & Files的报道)则计划构建“超大规模”AI数据中心,这将为选定的供应商带来巨大的存储订单 Blocks & Files).
因此,AI导致的存储危机不仅仅是一种模糊的感觉,而是可衡量计划的结果:爆炸性的数据增长与长期数十亿美元的数据中心建设计划相遇,而这些计划目前已经主导了存储组件的供应链。 (Yahoo Finanzen).

来源: dinnova.ch
TrendForce的数据(TechRadar引用)显示,32TB或更高容量的近线HDD的交付周期已延长至 über ein Jahr gestiegen sind, ,因为AI数据量超出了全球存储基础设施的承受能力。HWBusters在其分析中提到了“AI存储紧缩”,即AI应用对高容量HDD的需求导致了严重的延误和价格上涨 HWBusters).
Tom’s Hardware描述了瓶颈是如何贯穿整个供应链的:一份报告引用Adata董事长的话说,AI数据中心正在吞噬硬盘、SSD和DRAM „wegfressen“ ,供应商的库存从通常的二到三个月缩减到两到三周。TechSpot引用一份报告称,由于硬盘供应链如此紧张,导致企业级HDD的交货时间延长至 bis zu zwei Jahre ausdehnen können. ,数据中心现在正在“囤积”SSD über ein Jahr gestiegen sind 。Network World补充报道称,硬盘的交货时间已从几周延长至
,企业级闪存的价格已显著上涨。 dreijährigen NAND-Knappheit. 在闪存方面,制造商警告存在结构性短缺:Solidigm预计至少 mehr als verdoppelt haben 。Phison的CEO公开证实,NAND闪存的价格在六个月内上涨了 Sourceability).
,并且预计短缺将持续到至少2027年底。同时,Sourceability报告称AI驱动的DRAM短缺,模块价格大幅上涨,并预计到2026年供应将进一步收紧 CineD).
对于专业行业来说,影响已经显现:专业杂志CineD警告电影制作人,到2026年全球存储短缺可能会显著提高相机媒体、SSD和后期制作硬件的价格,并可能部分推迟新相机型号的发布计划
来源: YouTube
存储危机的连锁反应
对于大型云服务提供商而言,存储危机主要导致CAPEX和OPEX的增加:IoT Analytics显示,2024年数据中心基础设施的支出已达 290 Milliarden US-Dollar lagen. 。Inside Towers报道称,全球AI浪潮正在如此强烈地增加对数据中心容量的需求,以至于运营商正在争夺合适的地点、能源和网络连接 Inside Towers).
这些成本不仅体现在资产负债表中,最终也体现在价格中:Tom's Hardware和Network World等网络和IT媒体一致报道称,SSD和HDD制造商已经宣布对企业级产品进行价格上调,这在中期可能会体现在云存储资费、备份解决方案以及消费类产品中 Tom’s Hardware, Network World).
对于小型企业来说,危机更多地体现在日常运营中:CineD指出,电影制作公司必须重新计算其媒体和备份预算,因为存储卡、SSD RAID和归档系统价格更高且更难获得 CineD). 对于处理大量数据的机构、研究机构或初创公司来说,情况也类似:不断上涨的存储价格可能会延迟项目,或迫使它们减少数据量,这直接影响到分析和AI模型的质量 CIO.com).
消费者用户受到间接影响:Tom's Hardware和Yahoo Finance等专业媒体指出,用于AI服务器的DRAM和NAND生产也用于笔记本电脑、智能手机和电视等消费设备,因此企业端的短缺会导致 steigenden Endkundenpreisen führen können (Yahoo Finanzen).
环境因素
AI导致的存储危机与能源问题密不可分。高盛预测,到本十年末,全球数据中心的电力需求将增长高达 165 Prozent im Vergleich zu 2023 ansteigen könnte. 。路透社引用的一项研究估计,到2028年,美国的数据中心将消耗高达 12 Prozent des gesamten nationalen Stromverbrauchs ausmachen könnten. 。国际能源署预计,到2030年,数据中心将消耗 mehr Strom verbrauchen könnten als das heutige Japan.
。此外,一个常被低估的用水量:Brookings报告称,一个典型的数据中心大约消耗 300.000 Gallonen Wasser pro Tag für Kühlung benötigt. 。一项关于AI数据中心水足迹的最新调查总结道,2023年美国数据中心直接消耗了约 66 Milliarden Liter Wasser verbrauchten.
。这种对环境的关注加剧了对存储行业的压力:存储密度越高,生产复杂性通常越大——例如,现代3D NAND结构拥有200多层——在芯片制造过程中消耗的资源就越多 Blocks & Files). 同时,华为等供应商认为,全闪存数据中心从长远来看可能比基于HDD的系统更节能,这至少可以部分缓解存储危机带来的能效问题 Huawei).
如果您想更好地了解数据中心的物理基础设施和环境影响,您可以在这个解释性的YouTube视频中找到关于AI时代数据中心功能和增长压力的良好入门介绍:
来源: YouTube
解决方案
存储危机并非不可避免,但也不能仅凭一个“技术技巧”来解决。IDC和Seagate多年来一直指出,产生的数据量大部分 nie genutzt wird. 。这表明,技术的容量增长需要与更严格的数据管理相结合。
在技术层面,制造商依赖于多层存储架构:极快但昂贵的NVMe SSD用作主动AI工作负载的缓存,而更便宜、容量更大的HDD和QLC SSD则用于归档和冷数据。 Tom’s Hardware). Seagate等供应商将 Exos 4U100 mit bis zu 3,2 Petabyte 等系统明确定位为应对AI工作负载的解决方案。Hitachi Vantara认为,全面转向全闪存架构,并辅以成熟的数据服务,不仅可以提高性能,还可以提高能源效率和可靠性 Hitachi Vantara).
在组织层面,关键在于哪些数据应该永久保存:诸如“Data Age 2025”之类的研究强调,企业必须区分监管相关、业务关键以及仅仅是“锦上添花”的数据,以免不必要地占用存储容量和能源。 Seagate). CIO.com显示,许多企业目前正在重新设计其存储架构,以支持具有快速、一致访问时间的AI工作负载,同时经济高效地处理备份、归档和合规性。 CIO.com).
具体而言,这对企业意味着:明确定义数据生命周期,强制执行删除策略,有选择地整理训练数据,而不是“一切永久保存”,并以如此方式设计AI工作负载,使其用更少的数据实现更多——例如,通过高效的模型架构、检索增强生成或更小、更专业的模型。 Hitachi).
如果您想以动态图像形式了解AI存储危机背后的经济和基础设施约束,此视频将为您提供关于AI、能源和存储交织的数据中心项目的良好概述:
来源: YouTube
AI导致的存储危机是三个发展趋势的必然结果:爆炸式增长的数据量 Cybersecurity Ventures), 、积极的AI数据中心扩张计划以及一个正在触及容量扩展的物理和财务极限的存储行业。 Seagate).
未来几年,无论是在企业级市场还是消费级市场,都可能面临更高的价格、更长的交付周期和更激烈的存储资源竞争。 (Tom’s Hardware, Tom’s Hardware). 与此同时,环境因素——尤其是能源和水消耗——迫使运营商和政策制定者不仅从经济角度,而且从资源政策角度来考虑存储策略。 (Goldman Sachs, Brookings).
好消息是:危机并非静止状态,而是迫使创新和纪律的压力。那些能够持续质疑其数据架构,明智地组合存储层级,并有意识地构建AI以使其能够处理更少、结构更好的数据的人,不仅可以降低成本和风险,还可以为存储在AI时代成为一个可塑而非仅仅稀缺的因素做出贡献。