Artefact关于《人工智能时代的工作未来》的研究得出结论：重复且繁琐的工作将通过自主人工智能得到增强，并转变为自主监督。 在此研究的基础上，《代理式监督的未来》深入探讨了组织如何做好准备，以监督和管理这些新型智能系统的性能、安全性和战略价值，并最终围绕代理式AI监督重塑工作模式。本综述总结了该研究的关键见解和建议，为希望构建值得信赖且影响深远的智能代理的企业，提供了一份将技术与商业治理相结合的实用指南。
代理式人工智能有何不同？
代理式人工智能系统并非传统软件。它们具有概率性，这意味着其输出结果虽然深受输入上下文的影响，但在每次运行时都会有所不同。相反，传统软件由确定性规则驱动，如果设计得当，这些规则是完全值得信赖的，因为它们始终应用相同的、不变且正确的逻辑。 然而，传统软件的局限在于无法解决新的、哪怕是稍有不同的问题。AI 代理通过牺牲可靠性来突破这一范围限制。它们将自然语言处理能力与自主操作能力相结合，能够跨内部工具、API 或数据库自主行动以解决新问题。这种灵活性在客户支持、运营、人力资源和采购等领域创造了巨大的价值。
但具有自主能力的AI系统也颠覆了软件治理中长期以来的传统假设。传统代码只需经过一次测试即可放心地部署，而自主系统在部署时必须充分考虑风险，并需要持续监控、评估和优化。因此，自主系统治理的未来不仅关乎部署时的认证，更关乎大规模的持续监督。
核心权衡：价值与风险
企业在应用人工智能代理时面临一个核心挑战：基于概率逻辑的系统不可能完全规避风险。因此，人工智能代理开发团队需要在可接受的风险范围内创造价值。一方面，权限设置过于宽松的代理虽然能创造价值，但也可能带来运营、声誉、道德或财务风险；另一方面，权限设置过于严格的代理虽然安全，倾向于给出浅显简单的回应，但其实用性有限。
必须对这种价值与风险的权衡进行明确管理。企业必须明确“价值”在具体情境中的含义（任务成功率、用户参与度、生产力提升），并确定需要控制的风险：幻觉、延迟、偏见、声誉受损或成本超支。监督机制将成为在人工智能代理生命周期的每个阶段（设计、开发、部署和运行阶段）调整这种平衡的运作机制。
三步监督法：观察、评估、行动
为了实现这种平衡，企业需要围绕以下三项核心能力构建主动监督机制：
- 观察：捕获结构化的遥测数据——输入、输出、工具调用、错误以及用户反馈。
- 评估：利用质量指标和风险指标，对照业务既定目标和控制阈值来评估绩效。
- 操作：上报并处理事件、重新训练模型、调整防护阈值，或回滚代理更新。
这一过程被称为“主动监督”，它借鉴了DevOps的实践，但必须根据人工智能的概率性和动态演变特性进行调整，并将其范围从技术团队扩展到业务流程和相关团队（如客户成功、人力资源、法务、运营等）。
监管始于代理人的诞生
代理治理在部署之前就已开始。业务和技术团队必须从探索阶段就开始协作，以定义成功标准、识别风险类型并确定评估策略。这种共同设计的方法确保代理不仅在技术上稳健，而且从一开始就与业务优先级保持一致。
In the design phase, teams often need to build “ground truth” datasets that reflect desired agent behavior. These become essential for both training and evaluation. During development, teams must determine go/no-go release thresholds across multiple metrics. Success is no longer binary (e.g., all tests pass); it’s probabilistic (e.g., >90% on task success, <2% toxicity), requiring governance to define what “good enough” looks like.
监控工作不会在部署后就结束。持续监控生产环境对于评估和优化代理至关重要。当发生故障时，负责手动处理的业务团队必须将预期中的正确行为反馈给代理团队，从而丰富和完善基准数据集。
基于指标的部署需要业务部门的参与
代理治理领域的一项重大创新在于，代理的释放将基于多维指标阈值。这包括传统性能指标（准确率、延迟）、业务指标（任务完成情况）以及风险指标（有害性、偏见、政策违规）。
关键在于，是否将某个模型投入生产，不应仅由技术团队决定。业务相关方必须明确可接受的风险阈值，并批准部署标准。治理工作应成为人工智能工程师、产品经理、合规专员和领域专家共同承担的责任。
大型语言模型作为法官的作用
评估大型语言模型（LLM）生成的结果往往具有主观性且耗时。此时，“LLM作为评判者”的技术便派上了用场。该技术通过使用独立的大型语言模型来对其他大型语言模型的输出进行评分，从而评估响应的相关性、事实准确性或语气。
虽然有些人可能对使用人工智能来评判人工智能持怀疑态度，但经验表明，独立模型能够可靠地评估生成的输出结果。然而，要使大型语言模型（LLM）作为评判者发挥可靠作用，前提是任务必须简单，且仅需做出“可接受或不可接受”这类二元判断。 换言之，由“简单AI”生成的具体二元标准，在评判“复杂AI”生成的长篇文本时非常有效。这种技术不仅能加速评估流程，还能减少对人工评委的依赖，尽管在高风险评审中，人类的判断依然不可或缺。
防护栏是必须从第一天起就设置的安全网
评估是防护措施的重要组成部分，它通过主动控制来防范已知的故障模式。防护措施可应用于输入层（例如过滤提示符注入）、输出层（例如阻止不安全的补全），或通过中间逻辑（例如工具访问条件）来实现。
但防护措施也伴随着权衡取舍。如果过于严格，会导致拒绝循环或隐性故障，从而降低用户体验；如果过于宽松，则会超出风险容忍度。防护措施必须随着智能代理的能力和业务成熟度的提升而不断演进：起初应采用严格的防护措施以确保信任，随后在控制风险的同时逐步放宽限制以提升价值。 因此，设计、测试和调整防护栏并非一次性任务，而是持续监督生命周期的一部分。
事件处理：人工监督者的崛起
即使在监控完善的系统中，事故也是不可避免的。代理监督的关键环节在于通过防护措施检测故障，并将故障上报给人工团队。这些故障可能包括安全违规、任务失败、输出结果模糊或工具滥用。
监督工作必须设计得引人入胜、可持续且富有成效。一线主管需要：
- 丰富且结构化的上下文：完整的跟踪日志、触发器说明、用户元数据。
- 简化的界面：决策工作流、默认建议、备用选项。
- 智能路由：根据专业技能和负载均衡分配升级处理。
- 疲劳管理：确保警报数量和复杂程度处于可控范围。
如果实施得当，监督机制将形成良性循环：人类的决策会反哺再训练数据集，并优化安全防护策略。监督机制不仅关乎风险管控，更能推动智能体的长期改进。
工具集：AgentOps 技术栈
为了将这一切付诸实践，企业必须采用一类新型工具：AgentOps 技术栈。其中包括 LangSmith、Langfuse、DeepEval、Ragas、PRISM Eval、Giskard、Arize、Weights & Biases 以及 Robust Intelligence 等平台，用于：
- 可观测性
- 评估
- 地面真相标注
- 实验追踪
- Guardrail 编排
大多数平台都集成了这些功能，但各具特色。有些更侧重可观测性，有些侧重代理部署，还有些则专注于安全等特定风险领域。这些工具与 DevOps 和 MLOps 平台相似，但经过了针对代理系统特定需求的调整。我们建议将这些工具与现有的 CI/CD 管道和数据平台集成，以保持可追溯性并实现资源复用。
治理是一项团队运动
该研究得出的一个关键结论是：智能代理的治理不能仅由人工智能工程师负责。业务团队必须共同设计防护措施，界定可接受的风险阈值，并参与升级处理流程。法务、合规、市场营销和支持部门必须能够访问针对其特定风险定制的仪表盘。
这意味着需要一种新的治理模式，将人工智能的可观测性与商业责任相结合。我们建议不按代理机构划分监督团队，而是按风险类型（例如法律、运营、品牌）进行划分，从而实现跨多个代理机构的横向监督。如果没有这样的组织架构，就很难扩大对代理机构的信任。
DataOps 的作用
代理式人工智能（Agentic AI）能像鲜有系统那样，揭示企业数据质量中的缺陷。如果底层数据仓库未经精心管理，基于检索的代理往往会呈现过时、敏感或无关的数据。正因如此，代理式治理必须与 DataOps 相辅相成。必须不仅追溯到代理的提示逻辑，还要追溯到为其提供数据的管道。
如果实施得当，AgentOps 能够强化企业数据治理。反之亦然。
一份实用的入门指南
为了帮助企业将理论付诸实践，我们提出以下四点建议：
- 从实际项目入手，而非原型：将 治理工作聚焦于 面向生产环境的高价值代理。构建真正的系统，而非一次性演示，以便尽早发现实际运行中的问题。
- 在工具选择上应以开发者为中心：选择 能够支持工程工作流的可观测性工具。业务仪表盘固然有用，但开发者的采用率对于收集高质量元数据至关重要。
- 明确风险归属：界定 各职能部门负责哪些风险。谁对安全、隐私、偏见或用户体验下降负责？建立上报流程和审批规则。
- 将 AgentOps 与 DataOps 融合：将 代理和数据管道视为一枚硬币的两面。通过联合监控数据质量和代理行为，诊断事件的根本原因。
结论：从监督到战略优势
代理式监督不仅关乎防范风险，更在于建立大规模的信任机制。通过建立共同的评估指标、完善的工具体系和协作协议，组织既能充分释放代理系统的全部价值，又能将风险控制在可控范围内。
代理治理将迅速发展。但其根基是永恒不变的：清晰明确、协作共进和持续学习。及早践行这一准则的企业，不仅能避免代价高昂的失误，更能建立持久的竞争优势。
