过度思考相关 AI 资讯 · AI 热点

7月21日

09:30

09:30

官方账号arXiv cs.AI@Cheng Yan, Guangyang Ye, Wuyang Zhang, Fan Xu, Zhijun Fan, Xiang Xia, Yanyong Zhang

PUMA提出相位-动量对齐假设与认知能量模型，以诊断大推理模型（LRM）在测试时缩放中的过度思考问题。与易受欺骗性收敛的信息论方法不同，PUMA通过轻量级相位监测和事件触发几何分析，实时区分主动探索与被动停滞。在1.5B至32B参数的LRM上，PUMA在多个基准上实现了更优的准确率-效率权衡，优于现有基线方法。作为训练无关框架，PUMA无需额外训练即可自适应截断或矫正推理过程。

AI模型 PUMA 大推理模型测试时扩展

推荐理由：这篇论文的PUMA框架能实时诊断大模型推理时是有效思考还是绕圈子，在1.5B到32B模型上准确率更高且更省计算，推荐给关心推理效率的朋友。

5月13日

19:12

19:12

官方一手arXiv: DeepSeek@Zizhao Chen, Yuying Li, Siting Lin, Lianxi Wang

精选75°

大语言模型在复杂推理中常出现“过度思考”问题，导致推理链过长、效率低下。现有强化学习方法通过设计复杂奖励函数压缩推理链，但高质量样本在探索空间中极为稀疏，形成采样瓶颈。受认知科学启发，研究者从理论上证明，参考答案引导的后验分布比先验分布具有更高期望效用，可突破高质量样本的采样瓶颈。为此，他们提出VPG-EA框架，将高效推理形式化为变分推断问题，引入效率感知的证据下界作为理论基础。该框架采用参数共享的双流架构实例化后验分布和先验策略，通过交叉视图评估过滤伪高效路径，再通过变分蒸馏将后验的高效模式单向迁移至先验策略。在DeepSeek-R1-Distill-Qwen-1.5B和7B规模上的实验显示，VPG-EA在综合效率指标ε³上分别比最强基线提升8.73%和12.37%。

论文推理模型效率优化变分推断

推荐理由：这篇论文为LLM推理效率问题提供了理论严谨且可落地的解决方案，做推理优化或模型压缩的研究者可以直接参考其变分蒸馏方法，值得细读。