Qwen-2.5-7B 相关 AI 资讯 · AI 热点

7月8日

12:12

12:12

官方账号arXiv cs.AI@Kai Ruan, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

该论文利用LLM Agent每轮隐藏状态的探针（probe），在任务早期预测最终失败。在TextCraft基准上，Recall-Controlled Probe Cascade以90%召回率目标为Qwen-2.5-7B节省47.1%推理计算，为Llama-3.2-3B节省37.2%。相比仅基于行为的方法，节省量高出1.6-1.7倍。论文还推导了保证高召回率所需的样本复杂度。

论文 LLM Agent Qwen-2.5-7B Llama-3.2-3B TextCraft 推理优化

推荐理由：这篇论文告诉你如何从模型内部状态提前看出agent会失败，比看外部行为省算力多了，实测省三到四成。