arXiv cs.AI（学术论文）
65
推荐理由：该研究揭示了语言模型中工具选择的内在线性表征机制，为提升工具调用的可解释性和可控性提供了理论基础，对构建更可靠的智能体系统具有重要启发意义。
全部 AI 动态
AI 相关资讯全量信息流
5月11日
11:44
这项研究探测了Gemma 3、Qwen 3、Qwen 2.5和Llama 3.1等12个指令微调模型（参数量从270M到27B），发现模型内部对所选工具的表示是线性的，可以通过激活干预来操控。通过添加两个工具平均激活的差值向量，可以在单轮名称提示上以77-100%的准确率（4B以上模型达93-100%）切换工具选择，并且随后的JSON参数会自动适应新工具的架构。此外，该方法还能提前标记潜在错误：在Gemma 3 12B和27B上，top-1与top-2工具差距最小的查询产生错误调用的概率是差距最大查询的14-21倍。因果效应集中在输出层对应目标工具首标记的行方向上，激活修补将影响定位到中后层少数注意力头。即使在基础模型中，内部状态也能在模型实际生成工具名称之前编码正确的工具选择，这表明预训练阶段已经形成了工具表征，指令微调只是将其连接到输出层。