影子人工智能(Shadow AI):在公司内部实施政策

Avatar
Lisa Ernst · 31.10.2025 · Technik · 5 min

人工智能工具通常在正式批准前就被试用。这增加了风险和治理问题。“影子人工智能”是第二常见的“影子IT”形式。欧盟人工智能法案正在逐步生效,其中针对禁止行为的规则以及通用人工智能(GPAI)的要求已开始实行。

引言

影子人工智能描述的是在IT部门不知情或未批准的情况下使用生成式人工智能工具。例如,在没有事先合同或数据保护审查的情况下,将文本、代码或客户数据粘贴到外部聊天中。“影子IT”指的是在正式流程之外非正式引入的技术;“影子人工智能”是人工智能领域的具体表现。治理为安全和合规使用人工智能提供了框架,包括政策、角色和控制措施。一个例子是 NIST AI Risk Management Framework 具备治理(Govern)、映射(Map)、衡量(Measure)、管理(Manage)功能。模型风险管理(MRM)包括模型清单、验证、监控和文档。它在金融监管领域已建立多年(SR 11-7),并可应用于人工智能模型。针对组织层面的管理系统,存在 ISO/IEC 42001:2023.

现状

当前的 1Password-Report 2025 显示,“影子人工智能”是继电子邮件之后第二常见的“影子IT”类别。27%的员工使用了未经批准的人工智能应用。此外,37%的人表示“大多数时间”才遵守公司政策,这表明存在政策漏洞。Zluri 通过 Help Net Security 进行的另一项市场观察指出,80%的员工使用的人工智能工具绕过了IT和安全部门。从监管角度来看,欧盟自2025年2月2日起禁止某些人工智能实践并要求具备人工智能素养。通用人工智能(GPAI)的义务自2025年8月2日起生效,该法案的其他部分将从2026年8月2日起生效,某些高风险系统的过渡期延长至2027年。尽管业界请求推迟,欧盟委员会仍坚持时间表,正如 Reuters 所报道。

冰山模型形象地说明了“影子人工智能”与官方批准的人工智能系统相比,其隐藏的本质。

来源: infoproteccion.com

冰山模型形象地说明了“影子人工智能”与官方批准的人工智能系统相比,其隐藏的本质。

原因和背景

“影子人工智能”的产生有多种原因。便利性和提高生产力的愿望是主要驱动因素。正如 1Password-Report 所指出的,政策往往不清晰或沟通不一致。平台动态加剧了这种情况:低门槛、插件、浏览器扩展和应用集成使试用变得容易,通常没有SSO、DLP或审计,正如 Help Net Security 所报告。与此同时,具体的应对措施触手可及。OWASP描述了典型的LLM风险,例如提示注入、数据泄露或代理权限过度,这些可以作为控制的锚点。在供应商方面,企业级产品强调租户保护、日志记录和数据保留期控制,例如 ChatGPT Enterprise/EduMicrosoft 365 Copilot.

“影子人工智能”的主要风险包括错误信息、数据暴露和潜在的客户风险。

来源: walkme.com

“影子人工智能”的主要风险包括错误信息、数据暴露和潜在的客户风险。

事实与误解

有证据表明“影子人工智能”在企业中广泛存在。 1Password-Report 显示,27%的员工使用了未经批准的人工智能应用,“影子人工智能”是第二常见的“影子IT”类别。此外,正如 Help Net Security 所报告,80%使用的人工智能工具未经管理,导致巨大的盲点。 EU AI Act 的义务自2025年起逐步生效,其中GPAI规则自2025年8月2日起实行,更广泛的应用将于2026年8月2日起实行。尚不清楚企业将以多快的速度将MRM标准全面应用于生成式人工智能。MRM已在银行监管中确立( SR 11-7), ),但不同行业的成熟度各不相同。声称“直到2026年我们无需采取任何行动”是错误或误导的。欧盟禁令和素养义务(自2025年2月2日起)以及GPAI义务(自2025年8月2日起)已然生效。正如 Reuters 所宣布,委员会确认了时间表。

来源: YouTube

行动建议

为了务实可靠地实施“影子人工智能”政策,企业应定义允许的使用案例、禁止的输入(例如:个人、机密客户数据)、允许的工具和审批途径。 NIST-Rahmenwerk 为此提供了一个合适的结构。持续的发现和清单流程是必要的,以使新的人工智能工具可见,正如 Help Net Security 所强调。应锚定技术控制措施,如DLP/标签、条件访问、日志记录和审计跟踪; Copilot-Architektur. 提供了相关示例。引入MRM流程至关重要,包括模型清单、假设和数据来源的文档、独立验证、漂移和性能监控以及变更控制。 SR 11-7 提供了一个可靠的蓝图。如果希望在组织上实现可认证的治理,可以使用 ISO/IEC 42001 作为管理系统,并使用 NIST-Playbook 来制定具体的措施。

道德框架对于负责任地处理人工智能和实施政策至关重要。

来源: linkedin.com

道德框架对于负责任地处理人工智能和实施政策至关重要。

展望

悬而未决的问题涉及GPAI要求的明确化以及监管机构在审计中的期望。正如 Reuters 所报道,委员会正在继续制定辅助文件,并坚持分阶段计划。复杂工作流程中提示注入和代理风险测试的标准化是另一个挑战。 OWASP 为此不断提供更新的风险目录。关于公平性、鲁棒性和幻觉的指标(将成为事实标准)问题也悬而未决。 NIST 正在致力于生成式人工智能的配置文件和评估方法。

“影子人工智能”表明人们渴望快速获得成果。好的政策应将这种动力与保护相结合。现在制定清晰的使用规则、建立发现和监控机制、嵌入技术控制措施并设置MRM流程,可以降低风险,同时不阻碍生产力。这也有助于企业更好地为 EU AI Act 做准备,并利用诸如 NIST AI Risk Management FrameworkISO/IEC 42001.

来源: YouTube

分享我们的文章!