AITOP

熵动力学

共 2 条相关 AI 资讯
7月6日
16:30
6月2日
11:17
11:17官方账号arXiv cs.LG@Ting Xu, Xu He, Yupu Lu, Jiankai Sun, Dong Li, Wai Lam, Jianye Hao
精选72°
这篇论文研究了链式推理（CoT）过程中的熵变化，发现了一个一致的两阶段结构：先是不确定性探索阶段，然后突然过渡到置信收敛阶段。置信阶段具有高可靠性和高冗余性两个关键特性，模型在得出正确答案后仍会生成大量无用token。基于此，作者提出了两种更高效的推理策略：早退机制（Early Exit）和测试时缩放（Test-Time Scaling）。他们使用累积和（CUSUM）算法进行实时推理控制，无需额外训练。实验表明，CUSUM早退在准确率63.06%时实现了11.1%的token缩减，优于DEER和Dynasor。
论文推理模型CoT/链式推理早退机制熵动力学CUSUM
推荐理由：这篇论文揭示了CoT推理中隐藏的熵动力学规律，做推理加速和模型效率优化的研究者可以直接用CUSUM方法实现无训练早退，比现有方法更优。
原文