11:28官方账号arXiv cs.AI@Paul Kassianik, Blaine Nelson, Yaron Singer这篇论文评估了安全代理的成本-成功表现,使用进攻性Cybench挑战和防御性Splunk BOTS v1挑战。作者比较了不同模型在固定成本水平下的成功率,并分解了推理成本和工具成本。结果显示,进攻性CTF任务性能随测试时间计算增加而提升,开源模型可以比肩前沿专有系统。防御性SOC调查任务的成功更依赖于工具使用和遥测导航而非单纯推理预算。论文建议安全代理基准应同时衡量经济效率和操作适应性。论文CybenchSplunk BOTS v1Security Agents推荐理由:这篇论文把安全代理的评估从只看成功率,改成同时算成本账。用Cybench和Splunk BOTS v1实测,发现开源的进攻型代理性价比不错,但防御型代理光给推理预算不够,得改进工具使用。原文稍后读已读值得跟进有用关注 Cybench