AITOP
精选
AI 自动挑选的高价值内容
全部模型产品行业论文技巧
标签：推理模型×
5月15日
10:56
arXiv cs.AI@Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang
精选67
OpenDeepThink 是一种基于种群的测试时计算扩展框架，通过成对 Bradley-Terry 比较选择最佳推理候选，解决了并行采样中的选择瓶颈。每次迭代中，LLM 对随机候选对进行评判并聚合为全局排名，保留顶部候选并变异前四分之三，丢弃底部四分之一。在 Codeforces 上，Gemini 3.1 Pro 的 Elo 评分在 8 轮 LLM 调用（约 27 分钟）内提升 405 分。该方法跨弱强模型无需重新调参，在 HLE 基准上，增益集中在客观可验证领域，主观领域则出现逆转。同时发布了 CF-73 数据集，包含 73 道专家评级的 Codeforces 问题。
论文推理模型测试时计算扩展Bradley-Terry并行推理Codeforces
推荐理由：OpenDeepThink 用 Bradley-Terry 聚合解决了并行推理的候选选择难题，做推理扩展的开发者可以直接复现，效果显著且无需调参。
10:10
arXiv: DeepSeek@Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin
精选58
该研究系统评估了七种KV缓存压缩机制在数学推理任务上的表现，发现所有现有方法在小预算下均被拒绝。作者提出一种名为α的简单修改，通过引入多样性惩罚项替代传统argmax-top-k选择，在Qwen-7B和Llama-8B模型上，在64和128预算下，α在两项测试中显著优于基线。该发现表明，最小化的评分修改比复杂的结构重设计更有效，且严格的实验协议使这一不对称性得以显现。
论文KV缓存压缩推理模型数学推理QwenLlama
推荐理由：KV缓存压缩是长上下文推理的关键瓶颈，做LLM推理优化的开发者可以直接参考α方法——它用一行修改就打败了七种复杂方案，值得在自家模型上试试。
10:08
arXiv: DeepSeek@Bin Lei, Caiwen Ding, Jiachen Yang, Ang Li, Xin Eric Wang
精选58
研究发现，思维链推理长度增加时，模型对早期关键洞察的注意力会逐渐减弱，导致准确率在达到峰值后下降。为此，研究者提出InsightReplay方法，让模型在推理过程中定期提取关键洞察并回放到当前生成位置附近，保持其可访问性。在8B和30B规模的Qwen3.5、DeepSeek-R1-Distill-Qwen、Gemma-4模型上，覆盖AIME、HMMT、GPQA Diamond、LiveCodeBench v5等基准测试，3轮InsightReplay在所有24个设置中均带来准确率提升，平均提升1.65个百分点，最高单设置提升达9.2个百分点。结果表明，测试时扩展的有效性不仅取决于推理量，还取决于关键中间洞察在长推理轨迹中的可访问性。
论文推理模型思维链注意力机制InsightReplay长上下文
推荐理由：长链推理的注意力衰减问题终于有了针对性解法，做推理模型优化或长上下文应用的团队值得关注——InsightReplay简单有效，可以直接在现有CoT框架上尝试。
5月14日
13:27
arXiv cs.AI@Tyler Alvarez, Ali Baheri
精选55
该论文提出了一种新的幻觉检测方法，将多步推理中的幻觉视为隐藏状态轨迹的几何特性，而非传统对整个输出打分。作者通过对比PCA构建标签条件教师模型，提取七个几何过渡特征，并蒸馏出BiLSTM学生模型，仅需单次前向传播即可定位首个错误步骤。在ProcessBench、PRM800K等基准测试中，该方法优于基于熵、探针和注意力的基线，教师模型跨语言模型和数据集稳定迁移，但学生模型在分布偏移下失效。研究将步骤级幻觉检测重新定义为轨迹动力学问题，并指出分布偏移下保持对比传输裕度是部署的关键障碍。
论文幻觉检测推理模型隐藏状态轨迹对比PCA分布偏移
推荐理由：这篇论文把幻觉检测从“整体打分”推进到“单步定位”，做推理模型调试和可解释性研究的团队值得关注——它用几何视角揭示了错误发生的精确位置，比传统方法更细粒度。
13:26
arXiv: DeepSeek@Chenjun Xu, Zhennan Zhou, Zhan Su, Bill Howe, Lucy Lu Wang, Bingbing Wen
精选55
长链推理（Long CoT）虽能提升多步推理性能，但常导致模型过度思考，产生低效推理，增加推理成本。STOP 提出一种结构化在线策略剪枝算法，通过自蒸馏、节点分割和推理树构建，识别并保留最早的正确推理节点（ECN），去除冗余推理。在 DeepSeek-R1-Distill-Qwen-7B 等模型上，STOP 在低数据微调场景下减少 19.4%-42.4% 的生成 token，同时基本保持准确率。该方法比教师引导剪枝带来更小的分布偏移，并将推理努力从冗余验证转向更高效的探索。
论文推理模型剪枝/优化低数据微调长链推理DeepSeek-R1
推荐理由：做推理模型微调或部署的团队，STOP 解决了低数据场景下长链推理成本高的问题，直接减少 token 消耗，建议试试这个轻量剪枝方案。
5月13日
19:12
arXiv cs.AI@Yuxiao Yang, Xiaoyun Wang, Weitong Zhang
精选65
本文研究了在线策略自蒸馏（OPSD）方法，即语言模型通过在其自身生成的轨迹上蒸馏特权教师分布来提升推理能力。作者发现OPSD存在一个常见但常被忽视的问题：教师响应中的自我反思偏差和模板会导致token级监督校准错误。为此，他们提出OGLS-SD框架，利用可验证的结果奖励对比成功与失败的在线轨迹，并通过logit引导校准教师logits。该方法结合结果级正确性与密集的token级引导，在多个基准上稳定了自蒸馏过程并提升了推理性能。
论文自蒸馏推理模型logit校准结果引导LLM
推荐理由：如果你在做LLM推理优化或自蒸馏训练，OGLS-SD解决了教师-学生分布不匹配的痛点，用结果奖励校准logits的思路直接可复用，值得仔细看方法细节。
19:12
arXiv: DeepSeek@Zizhao Chen, Yuying Li, Siting Lin, Lianxi Wang
精选75
大语言模型在复杂推理中常出现“过度思考”问题，导致推理链过长、效率低下。现有强化学习方法通过设计复杂奖励函数压缩推理链，但高质量样本在探索空间中极为稀疏，形成采样瓶颈。受认知科学启发，研究者从理论上证明，参考答案引导的后验分布比先验分布具有更高期望效用，可突破高质量样本的采样瓶颈。为此，他们提出VPG-EA框架，将高效推理形式化为变分推断问题，引入效率感知的证据下界作为理论基础。该框架采用参数共享的双流架构实例化后验分布和先验策略，通过交叉视图评估过滤伪高效路径，再通过变分蒸馏将后验的高效模式单向迁移至先验策略。在DeepSeek-R1-Distill-Qwen-1.5B和7B规模上的实验显示，VPG-EA在综合效率指标ε³上分别比最强基线提升8.73%和12.37%。
论文推理模型效率优化变分推断过度思考知识蒸馏
推荐理由：这篇论文为LLM推理效率问题提供了理论严谨且可落地的解决方案，做推理优化或模型压缩的研究者可以直接参考其变分蒸馏方法，值得细读。
19:12
arXiv: DeepSeek@Wenkai Li, Fan Yang, Ananya Hazarika, Shaunak A. Mehta, Koichi Onoue
精选75
一项新研究系统性地检验了思维链（CoT）推理过程与最终答案形成时间之间的对齐程度。研究者提出了一个步骤级的检测-分类-比较框架，使用答案承诺代理、Patchscopes、调谐透镜探针和因果方向消融等方法，对九个模型和七个推理基准进行了分析。结果显示，潜在承诺与显式答案到达仅在平均 61.9% 的步骤上对齐，其中 58% 的不匹配事件表现为“虚构延续”——模型在答案已稳定后继续生成看似深思熟虑的文本。在架构匹配的 Qwen2.5 与 DeepSeek-R1-Distill 对比中，推理管线改变了失败组成而非整体对齐度。研究还发现，步骤级对齐度越低，CoT 的实用性反而越大，表明最受益于 CoT 的场景往往时间忠实性最差。截断实验和捐赠-破坏测试进一步表明，大量承诺后的文本对最终答案并非关键。
论文思维链可解释性AI安全推理模型忠实性
推荐理由：这项研究戳破了 CoT 推理过程忠实反映模型思考过程的假设，做 AI 安全、可解释性研究或依赖 CoT 审计的团队值得关注——它提醒我们，看起来合理的推理链条可能只是事后编造的故事。
15:51