IEEE Spectrum AI ↗ · 2026-11-19 23:00 · UTC+8
认识 Shepherd:监管失控 AI 代理的元代理
媒体报道 IEEE Spectrum AI 原文语言:英文
北大和斯坦福的研究团队推出 Shepherd 框架,将版本控制概念引入 AI 代理管理,实现对工作代理的监控、回滚和分叉。该系统以 Python 实现,可在沙箱中捕获代理行为,并通过元代理干预提升安全性和性能。论文将在 2026 年 NeurIPS 会议上发表,项目已开源但仍在从 alpha 向生产就绪阶段演进。
全文
AI 代理在互联网上肆意行动,虽然配备了完成特定任务的指令,但常常表现出不受欢迎或意外的行为。这些失控事件的范围从删除整个电子邮件收件箱到入侵网站,甚至发动网络攻击。
正如人类员工需要管理者一样,东北大学助理教授石伟燕认为 AI 代理也需要监督。她说:“它们可能会运行很长时间。然而,运行时间越长,可能出现的错误就越多,甚至会采取危险、不安全的行动。我们觉得应该有一个中间层。”
这个中间层以元代理的形式出现,负责监督行为、提供质量控制,并在适当时将问题上报给人类。石说:“工作代理就像四处游荡的羊群,元代理则像牧羊人,试图把它们拉回正轨。”
因此,石和她在东北大学及斯坦福大学的同事将他们的框架命名为 Shepherd——一个为代理羊群提供智能引导的系统。为了赋予元代理力量,团队借鉴了软件开发中的概念:版本控制。相关论文将在 2026 年 12 月举行的 NeurIPS 会议上发表。
AI 代理的版本控制
版本控制系统,例如流行的 GitHub,能够随时间跟踪和管理源代码的更改。这些工具让软件工程师在同一代码库上协作而不丢失工作。他们可以“fork”或创建代码库的副本并独立开发,使用“commit”保存带有更改的新版本,审查修订,并在出现错误或故障时回滚到先前的版本。
同样,Shepherd 充当 AI 代理的版本控制系统。它使用 Python 编程语言构建,基于函数式编程原则。每一次代理动作以及 AI 代理的状态和相关环境(如电子邮件收件箱、文件系统等)都被存储为一次提交,形成由一系列动作组成的提交图。元代理遍历该图以定位任意提交,从而观察工作代理、拦截有缺陷的动作、将工作代理恢复到上一步,并分叉它以尝试其他方向。
斯坦福大学自然语言处理小组的研究员、Shepherd 团队成员 Derek Chong 说:“这里有一个微妙之处,因为对[工作]代理来说,它们看起来像是在常规世界中,可以发送电子邮件等。但实际上,发送电子邮件的动作已经被 Shepherd 的沙箱捕获,元代理或人类可以介入并决定是否真正发送。”他补充说,这种沙箱机制充当了防护栏或治理组件。
石说:“如果有一个中间层来帮助治理这些工作代理,那么人类就能获得更好的控制。人类最终仍然会有发言权,他们可以通过元代理进行干预,也可以帮助引导这些元代理。”
为了展示 Shepherd 的可行性,团队创建了三个使用案例。一个使用监督元代理,在并行编程代理之间出现冲突时进行干预,提升了它们在特定基准测试上的配对编码通过率。另一个开发了优化元代理,提出针对工作代理已完成工作流的有针对性编辑,并通过仅重放受编辑影响的运行部分进行测试,从而提升性能。最后,一个在强化学习期间的训练元代理在适当的点或步骤上进行分叉,使工作代理走上更佳路径,并在此过程中给予奖励。
Shepherd 作为开源项目已发布,但 Chong 指出团队仍在将其从 alpha 阶段构建到完整的生产就绪状态。Shepherd 框架是由 Chong 和石共同创立的更广泛的 Agent Sciences Research Initiative(ASRI)的一部分。该合作由东北大学、斯坦福大学和加州大学伯克利分校的研究人员组成,旨在探索如何使 AI 代理更可靠、更稳健,如何更好地评估它们,以及如何确保它们更安全。
“越来越明显,代理管理真的很重要,”Chong 说。“代理应该能够检查其他代理并对其进行操作,就像现实生活中的管理一样。我们认为 Shepherd 是我们可以朝这个方向构建并实现代理管理民主化的方式。如果你能实现民主化,那么人类就能被赋能去构建支持人类繁荣的 AI 系统。”
Your Site 文章
尝试让人类参与 AI 循环实际上可能会把他们排除在外 ›
你准备好让 AI 代理使用你的电脑了吗? ›
网络上的相关文章
在 AI 时代蓬勃发展,公司需要代理管理者 ›
什么是 AI 代理管理?| IBM ›
agentic aialignmentsoftware engineeringalgorithmic management
正文为 AI 译文。