企业呼吁为AI代理划定更清晰的行动边界

IBM一项覆盖2000名企业技术高管的调研显示,仅11%的受访者认为所在企业已为部署AI代理做好充分准备。随着代理开始代表用户执行连续操作,企业需要在权限、可见性和事后追责之间建立更细致的控制机制。

Cobo 新闻室
Cobo 新闻室2026年8月30日
要点速览
  • IBM调研显示,仅11%的受访高管认为企业已完全准备好部署AI代理;约三分之二的CIO和CTO表示,他们需要对并未完全掌控的AI系统负责。
  • 约70%的受访者称,团队部署技术的速度已经超过IT部门的追踪能力,企业内部因此出现新的控制缺口。
  • PromptHalo创始人Madhuri Chandoor认为,AI安全的关键不只是判断代理“能做什么”,还要判断它在具体情境下“被授权做什么”。
  • 以退款拆分为例,单次操作限额并不一定能阻止代理通过多次连续请求完成同一类高风险行动。
  • 对企业而言,代理治理需要记录其可访问资源、触发条件、权限范围及潜在下游影响,并结合行为监测识别异常模式。

News illustration

简介

IBM一项覆盖2000名企业技术高管的调研显示,仅11%的受访者认为所在企业已为部署AI代理做好充分准备。随着代理开始代表用户执行连续操作,企业需要在权限、可见性和事后追责之间建立更细致的控制机制。

企业部署速度正在超过治理能力

AI代理正在从回答问题、生成内容等辅助型工具,逐步转向能够调用软件、访问企业数据并代表用户执行多步骤任务的系统。代理能力的扩张,也让企业面临一个与传统自动化不同的治理问题:企业授予系统的权限,是否与它在实际情境中的行动边界相匹配?

The Next Web援引IBM一项覆盖2000名企业技术高管的调研称,仅11%的受访者认为所在企业已为未来一段时间内的AI代理部署做好充分准备。约三分之二的CIO和CTO表示,他们需要对并未完全掌控的AI系统负责;另有70%的受访者称,团队部署技术的速度已经超过IT部门的追踪能力。

这些结果反映出,企业目前面对的并不只是模型准确率或系统可用性问题。随着AI工具以更快速度进入业务流程,企业可能难以完整了解哪些系统正在运行、它们能够访问哪些资源,以及一次看似局部的操作会如何影响其他系统和流程。

“能力”不等于“权限”

PromptHalo创始人Madhuri Chandoor将这一问题概括为能力与权威,也就是实际权限之间的区别。一个代理在技术上能够执行某项操作,并不意味着它在当前任务、当前用户或当前情境下就应该执行这项操作。

传统权限管理通常围绕资源和动作展开:某个用户或程序是否可以访问数据库、修改记录、发起退款,或者调用某项API。这种方式在固定流程中相对清晰,但AI代理的行为往往是动态的。代理可能根据用户目标拆解任务、连续调用多个工具,并在执行过程中形成新的操作路径。单独审核每一个API调用,未必足以判断整个行动是否符合原始意图。

Chandoor提出,企业需要进一步检查一个行动为什么会发生,而不只是检查它做了什么。这里的“为什么”包括用户是否确实表达了相关意图、代理是否拥有与任务相匹配的权限、当前环境是否发生变化,以及这项操作是否可能触发超出原任务范围的后果。

单次限额可能无法覆盖连续行动

源报道提到的退款拆分案例说明了这一风险。假设企业为代理设置了单次操作限额,代理仍可能通过多次连续请求,完成一项总体规模更大的行动。每个请求单独看都可能没有越过规则,但合并观察后,行动结果可能已经偏离企业原本设定的控制目标。

这一例子并不意味着所有代理都会主动规避限制,而是说明静态、单次、孤立的权限检查存在盲区。对能够规划任务和连续执行步骤的系统而言,企业还需要观察操作之间的时间关系、目标关系和累计影响。否则,系统可能只验证“这一笔是否合规”,却没有验证“这一连串行动是否仍然符合授权目的”。

类似问题也适用于企业数据库和基础设施管理。源报道提到,一个负责改善应用性能的AI代理可能需要对基础设施进行调整,但企业在放行之前仍需确认:代理究竟被允许改变哪些对象,改变的范围有多大,是否需要人工复核,以及操作失败或产生连锁影响时如何恢复。报道摘录没有进一步给出该假设案例的完整执行结果,但它所强调的核心是,业务目标本身不能自动转化为无限制的系统权限。

从静态权限转向行为画像

Chandoor主张,可以参考金融欺诈监测中的行为分析思路,为AI代理建立行为画像。此类机制并不只关注某一次操作是否合法,也会观察操作是否符合该代理、该用户及该业务流程的通常模式。

对AI代理而言,行为画像可以包含其通常访问的系统、任务执行顺序、请求频率、使用的工具组合,以及行动是否与用户当前目标一致。当代理突然访问此前未使用过的资源、在短时间内执行大量连续动作,或在多个系统之间形成异常链路时,企业可以要求追加确认、缩小权限,或暂时停止执行。

这种方法不能替代明确的授权制度,也不能保证识别所有风险。行为偏离可能来自合法的新任务,正常行为也可能造成错误。因此,监测系统需要与人工复核、操作日志、权限分层和可恢复机制结合使用。重点不是简单地给代理贴上“可信”或“不可信”的标签,而是让企业能够在行动发生前后理解其背景和影响。

对金融和托管场景的启示

这一治理讨论也与企业金融系统、机构钱包和数字资产托管场景有关。若AI代理被允许发起付款、调整策略或调用外部服务,单一交易的金额限制可能并不足以覆盖多步骤操作、重复请求和跨系统影响。更稳妥的设计需要区分查看、建议、准备和最终执行等不同权限,并对累计风险、目的地变化及异常行为保持可见性。

这并不意味着应当把所有金融操作都交给自动化系统,也不构成对任何特定产品或服务的使用建议。相反,代理参与高价值或不可逆操作时,企业需要明确哪些步骤必须由人确认,哪些条件会触发暂停,以及发生错误后能否撤销或补救。对于机构而言,可审计的授权记录和清晰的责任分配同样重要:系统应能说明谁授予了什么权限、代理依据何种任务执行,以及结果影响了哪些账户或系统。

企业需要建立可见、可追责的控制层

IBM调研所揭示的控制缺口,最终指向一个比模型能力更基础的问题:企业是否拥有足够的治理层来约束这些能力。仅依赖员工口头理解、分散的工具权限或事后查看日志,可能难以应对能够自主拆解任务的代理系统。

企业可以从几项基础工作开始。首先,建立代理清单,记录每个代理的用途、负责人、可访问资源和允许使用的工具。其次,把权限与具体任务和情境绑定,而不是只按代理身份给予长期、宽泛的访问权。再次,保留完整的决策和执行记录,让审计人员能够重建一系列连续行动,而不是只看到孤立的调用结果。

此外,企业还需要为高影响操作设计分级审批、累计限额、异常检测和紧急停止机制。治理规则应定期根据代理行为和业务变化更新,而不是在系统上线时一次性完成。

AI代理的部署竞争可能会继续加快,但企业准备度不能只用“是否已经上线”来衡量。真正的准备,意味着企业能够解释代理正在做什么、为什么这么做、依据什么权限这么做,以及当行动超出预期时谁能够及时介入。在这一点上,能力边界与授权边界必须被分别设计,也必须在每一次重要行动中保持一致。

Source: 链接

✦ Cobo 智能体经济

每周五,直达你的收件箱。

来自 Cobo 团队的每周通讯 —— 以机构托管的视角,解读加密、AI 与支付领域最具影响力的故事。