8月7日
13:17
13:17官方账号arXiv cs.AI@Indivara Kolluru, Nathan Sportsman
该研究在690个技能的库上对比了混合排序器和知识图谱两种Agent检索方案。117个真实查询中,混合排序器的top5准确率为73.5%±8.0。知识图谱比排序器低11.2个百分点(p=0.0007),且73%的失败查询无法通过图结构到达。自编查询会高估hit@5达44个百分点,掩盖了这一差距。
推荐理由:这篇论文用690个技能做测试,发现简单混合排序比知识图谱更靠谱,还提醒大家别用自编查询骗自己。
5月28日
11:27
11:27官方账号arXiv cs.AI@Jiazhen Huang, Xiao Chen, Xiao Luo, Yong Dai, Senkang Hu, Yuzhi Zhao
精选
本文提出 Skill-Conditioned Gated Self-Distillation (SGSD) 方法,用于改进大语言模型的推理能力。传统自蒸馏方法依赖可信的先验信息(如参考答案),而 SGSD 从经验技能库中检索技能-错误对,构建多教师池,通过验证器判断教师极性,并设计门控目标函数来蒸馏有效信息。在多个数学推理基准上,SGSD 在 Qwen3-1.7B 上平均比 GRPO 提升 6.2%,比 OPSD 提升 1.7%,且对先验信息的假设更弱。代码已开源。
推荐理由:做 LLM 推理优化的研究者可以关注——SGSD 用技能库替代参考答案作为先验,降低了蒸馏对标注数据的依赖,数学推理场景效果显著,值得在自蒸馏框架中尝试。