这是一个关于权力与责任的老问题,只不过这一次,它发生在代码与算法之间。
我们花了几十年才为汽车建立起完整的交通法规与事故责任体系,而Agentic AI正以远超立法速度的节奏闯入企业核心系统:它读取你的文件、调用你的接口、跨系统执行任务,却没有任何一张"驾照",也没有任何一份"保险单"。
当第一次真正意义上的"AI越权事故"发生,那张赔偿账单,将落在一个我们现在还没想好答案的问题上:到底该由谁来签字?
一、引爆点:72小时内,三件大事让企业圈炸锅
2026年的第一季度,Agentic AI(自主智能体)赛道经历了一次密集的"政策+技术+市场"三重冲击,让企业风控圈、科技社区与投资者同时陷入高度紧张。
2026年1月22日,新加坡资讯通信媒体发展局(IMDA)在达沃斯世界经济论坛上发布了《面向Agentic AI的模型人工智能治理框架》(MGF),这是全球首个专门针对自主智能体系统的国家级治理框架。
该框架的问世,不仅标志着监管层正式承认"智能体越权"已是必须直面的现实风险,更向全球的企业CTO与CISO发出了一个不容回避的信号:Wild West时代即将结束。
仅仅两个月后,2026年3月16日,英伟达在GTC大会上正式发布了开源运行时OpenShell,这一工具的核心命题,正是企业界长期悬而未决的难题:如何让自主智能体持续运行,同时不使其成为安全隐患?
与此同时,据2026年2月发布的企业安全调查,1/5的企业在2025年经历了与"影子AI"相关的安全事件,每次事件平均额外造成67万美元损失;更令人警惕的是,63%的已受损企业要么完全没有AI治理政策,要么尚在建立中。
三件事的时间轴几乎重叠,不是巧合,而是整个行业正在同步抵达同一个临界点的集体佐证。
二、范式转变:从"你问我答"到"自主行动",究竟跨越了什么?
要理解为何企业安全界如此紧张,首先需要厘清一个根本性的认知断层。
传统的生成式AI,本质是一种"极其聪明的文字处理工具"——你输入,它输出,人类始终是最终决策者和执行者。这一阶段被称为Copilot(副驾驶)时代:AI坐在副驾驶位,协助你,但不踩油门。
而Agentic AI,则是彻底的范式跃迁。与生成式AI不同,智能体系统能够进行多步骤规划以实现特定目标。它们可以与自身的运行环境交互——例如在无需人工干预的情况下,自主更新客户数据库或处理付款。这意味着:它现在坐到了驾驶位,可以踩油门,可以转向,可以在高速路上自己决定是否变道超车。
在今天的企业世界里,人工智能不再仅仅是回答问题或起草邮件——它在行动。从自动预订差旅的副驾驶,到更新系统并与其他机器人协调工作的智能代理,专业人士正步入一个自主系统参与日常运营的新世界。
更为深远的变化发生在系统架构层面。根据Gartner 2026年2月的预测,到2028年,33%的企业软件应用将内嵌Agentic AI功能,而这一比例在2024年还不足1%。增长之快,超出了几乎所有安全体系和治理框架的响应速度。
问题的核心在于:当AI从"工具"变成"行动者",整套人类社会围绕"责任归属"所建立的法律逻辑、技术架构与商业合同,全部都需要被重写。
三、安全危机的解剖:多智能体系统中,风险如何指数级叠加
理解单个AI智能体的风险尚且困难,而当今企业真正面对的,往往是多智能体(Multi-Agent)协同系统——这将风险复杂度推向了另一个量级。
3.1 提示词注入的"病毒式传播"
在多智能体系统中,安全风险呈复合叠加态势:提示词注入攻击可以沿智能体链条蔓延传播,隐式的对等信任机制可以导致权限提升,而共享上下文则可能使受监管数据跨越域边界泄漏。
换言之,在传统的单智能体系统中,一次成功的提示词注入攻击,顶多污染一个对话窗口。但在多智能体协同中,被感染的上级智能体(Orchestrator)会将恶意指令向下分发给所有子智能体,造成"传销式"的横向渗透。ICLR 2025年接受发表的研究证实,大型语言模型无法可靠地将指令与数据分离,这使得在架构层面实施外部强制约束成为必要手段。
3.2 传统IAM体系的彻底失效
现有的IAM(身份与访问管理)框架,包括被广泛使用的OAuth 2.0、OpenID Connect(OIDC)和SAML,是为一个更具确定性的数字时代而设计的。它们预设了可预测的应用行为,以及单一的已认证主体——无论是人类用户还是静态机器身份。而Agentic AI从根本上打破了这些假设。
具体来说,传统IAM面临三重致命缺陷:
第一,权限颗粒度太粗。传统IAM依赖于预设的角色权限,无法应对智能体在运行时动态请求新权限的场景。一个今天只需要"读取"权限的智能体,明天可能自主判断需要"写入"权限,而传统体系对此毫无感知。
第二,身份归属模糊。OWASP Agentic Top 10(2025年12月)明确指出:"没有独立的、受治理的身份,智能体在一个归因空白地带运行,这使得真正意义上的最小权限原则在执行上成为不可能。"
第三,委托链条不可追溯。在智能体委托关系模型(ARIA)中,每一次委托——无论是从人类到AI智能体,还是从一个智能体到子智能体——都应当被记录为一个独立的、可通过加密技术验证的委托关系,存入一个图结构数据库中。而当前绝大多数企业,对此连最基本的日志记录都尚未建立。
3.3 "影子AI"的新形态:未经授权的智能体部署
平均每家企业内部有1,200个未经正式审批的应用程序——其中内嵌AI智能体功能的数量正在急剧增长。新的影子AI威胁,已经从"员工在个人设备上使用ChatGPT",演变为业务部门、团队甚至个人贡献者,在未经安全监督的情况下,自行部署能够与企业系统交互、处理敏感数据、自主做出决策的AI智能体。
只有32%的受访企业表示其AI治理体系处于"可管理"状态;近40%的企业没有成熟或经过优化的AI治理体系;近41%的企业预计将遭遇AI驱动的内部威胁。
四、责任链条的碎裂:数据泄露发生后,板子该打在谁身上?
这是所有企业法务、CISO与CTO现在都在焦虑的核心问题。
在传统软件出现故障时,责任链条相对清晰:软件供应商提供SLA,企业IT部门负责运维,出了事查日志、找配置错误、追责供应商。但在Agentic AI场景下,这条链条在至少五个节点上同时断裂。
节点一:模型开发商。大语言模型本质上是概率性系统,其行为在训练完成后即无法被完全预测。模型开发商通常通过使用条款申明"不对AI输出负责"。这一声明在Copilot时代尚可被接受;在智能体自主执行业务操作时,其法律效力将面临严峻挑战。
节点二:智能体平台/框架提供商。AutoGPT、LangChain、Microsoft Copilot Studio等平台是智能体的"编排层"。若智能体因框架漏洞或设计缺陷越权,平台方的责任如何界定?目前几乎没有任何司法管辖区对此有明确立法。
节点三:企业部署方。新加坡模型治理框架的核心原则之一是:无论自主智能体如何独立运作、如何进行多步骤规划、如何动态适应变化,人类对其行为和决策的最终责任不会因此而转移。这意味着,哪怕智能体"自己做了决定",企业依然是那个要承担后果的人。
节点四:业务操作员。在多智能体系统中,往往存在多层委托关系:高层战略智能体设置目标,中层战术智能体制定计划,底层执行智能体操作实际系统。分散的管理链条意味着没有单一的监控控制点;点对点的智能体通信极难审计;被攻陷的智能体可以在不触发集中告警的情况下影响整个系统。
节点五:用户/操作者。当一名员工给了智能体过于宽泛的权限(比如"帮我处理所有收到的邮件"),而智能体据此执行了一封欺诈邮件的指令,员工、企业、智能体平台,谁负主要责任?
新加坡数字发展与新闻部长Josephine Teo明确表示:虽然确定AI智能体行为的具体责任归属目前还为时过早,但现有的消费者保护法律仍然适用。这一表态在给出了一定安慰的同时,也清楚揭示了监管真空的现实。
五、商业模式的终极重构:"按座位收费"的SaaS,已是强弩之末
安全危机是显性的;更深层的结构性颠覆,发生在商业逻辑层面。
Agentic AI的崛起,正在将整个SaaS行业逼到一个分叉路口:要么进化,要么消亡。
2026年2月,科技投资界创造了"SaaSpocalypse"(SaaS末日)这个词,用来描述传统软件即服务公司估值的急速崩塌。仅在1月15日至2月14日这短短一个月内,软件板块就蒸发了约2万亿美元市值。
Atlassian在2026年初暴跌35%,投资者将原因归结为企业用户减少带来的营收下滑;Workday股价年初至今累计下跌22%,市场对其按座位授权的商业模式忧心忡忡;Salesforce因"客户座位压缩"问题,股价自2026年初下跌了26%。
背后的逻辑并不复杂:在这个更为激进的愿景中,AI智能体正在成为企业应用的主要"使用者"。企业内部的AI系统将自主登录Salesforce或ServiceNow来管理工作流,传统的用户界面(UI)被边缘化。在这个世界里,SaaS厂商沦为"后端引擎"——为智能体提供数据存储和功能调用库,而品牌价值和通过UX建立的产品差异化则基本消失。
根据Databricks 2026年的调查,多智能体系统的使用量在短短四个月内激增了327%,78%的企业表示正在使用至少两个大型语言模型家族。这一增速意味着:曾经需要一整个软件产品来承载的工作流,正在被几行智能体配置文件所取代。
当然,这场颠覆并非所有SaaS都无法幸免。当前市场的真正分水岭,在于"确定性"与"概率性"系统之间的根本差异。前微软经理的观察切中要害:CIO们正在经历一场"现实检验"——他们意识到大型语言模型缺乏关键行业所需的确定性一致性,对于保险核保等业务流程,"十次中对六次"是完全不够的,这些流程需要100%的一致性,而当前的概率性模型没有大量重新工程化的情况下很难保证这一点。
换句话说,数据强锁定、流程高合规性、监管壁垒深厚的垂直SaaS,将成为AI时代的安全堡垒;而轻量级、通用型、靠UX建立护城河的SaaS产品,则将成为第一批被智能体"吃掉"的物种。
六、解法浮现:从监管框架到技术基础设施,行业正在如何自救
面对这场危机,监管层与工业界几乎同步启动了各自的应对机制。
新加坡模型治理框架:给企业画出四条底线
新加坡MGF框架围绕四个核心维度展开:一是提前评估并约束风险,包括对智能体的工具访问、权限、运行环境和可执行操作范围进行限制;二是建立有意义的人类问责机制,要求在智能体行动链中设置若干需要人工审批的强制节点;三是在智能体生命周期中实施技术控制与流程管控;四是通过透明度与培训,保障最终用户的责任自主性。
该框架由IMDA在广泛咨询主要科技企业和保险机构的基础上制定。AWS新加坡公共事务部门负责人Elsie Tan表示,随着Agentic AI系统将做出具有真实世界后果的决策,能够在基础设施中内置的可见性、隔离性和对齐性机制,以及人类判断,将是明智使用这些系统的必要前提。
值得注意的是,尽管该框架是自愿性的,不产生具有法律约束力的义务,但它为部署Agentic AI的组织提供了一套结构化的治理基准。在实践中,此类指南可能会塑造监管机构的预期、行业标准,以及未来的监管方向。
英伟达OpenShell:将安全管控下沉到运行时层
技术层面,英伟达OpenShell代表了目前业界最具系统性的答案之一。
OpenShell的核心设计理念是:安全策略在智能体触及范围之外执行,即在系统层面应用,而非依赖行为提示(behavioral prompts)。这意味着即使智能体被攻陷,它也无法覆盖安全策略,无法泄漏凭证或私有数据。
OpenShell基于Apache 2.0协议,架设在智能体与基础设施之间。它管控智能体的执行方式、可见范围与可操作边界,以及推理流量的路由。OpenShell使智能体能够在隔离沙箱中运行,让企业在享受智能体生产力的同时,对隐私和安全保持细粒度的控制。
更关键的是其技术架构的差异化:其策略引擎在二进制级、目标端点级、方法级和路径级对每一个动作进行评估。智能体可以安装经验证的技能,但无法执行未经审查的二进制文件。当智能体触达约束边界时,可以提出策略更新请求——但人类保留最终审批权。
英伟达创始人兼CEO黄仁勋对此直言:"Claude Code和OpenClaw已经引发了智能体的拐点——将AI从生成和推理扩展到了行动。员工将被他们自行部署和管理的前沿型、专业化和定制化智能体团队所赋能。企业软件行业将演变为专业化的Agentic平台,IT行业正处于下一次伟大扩张的边缘。"
安全架构的新范式:零信任 × 智能体身份 × 不可篡改审计日志
除监管与工具层面的应对外,安全行业也在逐步构建针对多智能体系统的新安全范式。
安全专家对企业的要求越来越清晰:完整的操作日志、严格的执行边界、沙箱隔离、强身份认证、默认个人信息脱敏,以及在影响发生之前阻止不安全操作的能力。如某戴尔技术架构师所言:"安全采用Agentic AI的信心来自治理——对每个智能体进行测试,执行护栏,持续监控以确保信任与韧性。"
审计日志层面,每次智能体间的交互都必须记录在不可篡改的、具有司法级别取证价值的审计追踪中——这不是可选项,而是所有受监管环境的治理要求和安全事件调查的安全必要条件。
七、结语:在"自动驾驶"时代到来前,我们需要先搞清楚谁是司机
Agentic AI的崛起,在技术层面不可逆转。从"你问我答"到"自主执行",这一跃迁带来的生产力红利是真实的——也是诱人的。
但正如汽车工业用了数十年才建立起完整的交通法规、事故责任体系与保险制度,AI智能体走向企业核心业务的道路,同样需要补齐整套配套基础设施。
目前,各方正在奔赴的答案至少有三个方向:
监管层(以新加坡为代表)正在构建治理框架,试图在不扼杀创新的前提下,为智能体的"越权"行为划定法律边界;技术层(以NVIDIA OpenShell为代表)正在将安全能力下沉到运行时,用工程手段代替过度依赖模型行为的"软约束";企业层正在被迫重写风控手册,将AI智能体纳入身份管理、审计合规和事件响应体系。
那些今天就建立智能体资产清单、权限策略和运行时控制的企业,将成为明天的韧性领导者。而那些以"先跑起来再说"为由、跳过治理建设的企业,则将在第一次安全事故后,发现自己站在一个没有任何挡风玻璃的驾驶座上。
"谁来为智能体越权买单?"——目前的答案,大概率是:率先拥抱,却最晚建立治理的那家企业。
这个答案不够公平,但足够真实。
本文来自微信公众号“新芒xAI”,作者:格林董义振,36氪经授权发布。