精选理由
PRISM解决了LLM智能体监控中指令恢复的盲区，对安全团队和AI治理开发者来说，这是直接可用的工具，建议关注其在实际部署中的效果。
随着LLM被部署为智能体，可靠监控需要知道不仅输出内容，还有哪些指令在引导其行为。当模型推断意外子目标、遵循上下文线索或受提示注入和隐藏目标影响时，这变得困难。现有激活到语言方法无法恢复智能体场景中同时活跃的完整指令集、约束、禁止和子目标。PRISM是一个激活条件解释器，从冻结目标模型的隐藏状态解码出忠实的活动指令要点列表。它使用法官引导的GRPO训练，奖励覆盖的指令并惩罚无支持的指令，在良性、约束、提示注入和隐藏目标设置中优于基线方法，尤其在安全相关目标上表现突出。
AI 翻译 · 中文
随着LLM被部署为智能体，可靠监控需要知道不仅输出内容，还有哪些指令在引导其行为。当模型推断意外子目标、遵循上下文线索或受提示注入和隐藏目标影响时，这变得困难。现有激活到语言方法无法恢复智能体场景中同时活跃的完整指令集、约束、禁止和子目标。PRISM是一个激活条件解释器，从冻结目标模型的隐藏状态解码出忠实的活动指令要点列表。它使用法官引导的GRPO训练，奖励覆盖的指令并惩罚无支持的指令，在良性、约束、提示注入和隐藏目标设置中优于基线方法，尤其在安全相关目标上表现突出。
As LLMs are deployed as agents, reliable monitoring requires knowing not only what they output, but which instructions are steering their behavior. This is difficult when models infer unintended subgoals, follow contextu…