Chinese content论文:多智能体协作会稀释安全对齐,指定安全主管可修复
做智能体团队开发的人该看看这篇。它用 12 个任务证明让智能体互评、开群聊这些常见做法救不回安全对齐,真正有效的是设一个安全主管智能体加一份安全规格文档。作者还开源了 magelab 框架,可以直接拿来做实验。
做智能体团队开发的人该看看这篇。它用 12 个任务证明让智能体互评、开群聊这些常见做法救不回安全对齐,真正有效的是设一个安全主管智能体加一份安全规格文档。作者还开源了 magelab 框架,可以直接拿来做实验。