面向AI Agent的高效稳健概率验证框架

Efficient and Sound Probabilistic Verification for AI Agents

精选理由

这篇论文给AI Agent加了一道安全锁:用分布鲁棒优化算清楚策略违规的概率上限,比旧方法更准、更高效。

AI 摘要

论文提出基于分布鲁棒优化(DRO)的框架,用于AI Agent在不确定性下的策略违反概率验证。该方法支持包含概率谓词或状态转换的Datalog策略,无需假设谓词间独立性。在终端和工具调用Agent标准基准上,计算出的概率上界比先前方法更紧,同时保证了安全与效用的权衡。实验表明,该方法在多个测试集上提升了安全策略的合规性。

AI 翻译 · 中文

论文提出基于分布鲁棒优化(DRO)的框架,用于AI Agent在不确定性下的策略违反概率验证。该方法支持包含概率谓词或状态转换的Datalog策略,无需假设谓词间独立性。在终端和工具调用Agent标准基准上,计算出的概率上界比先前方法更紧,同时保证了安全与效用的权衡。实验表明,该方法在多个测试集上提升了安全策略的合规性。

arXiv cs.AISecuring AI agents that operate in complex digital environments has become a critical need, and runtime monitoring approaches that formulate and enforce policies expressed in a formal language like Datalog offer a promis