AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：推理模型×
5月29日
02:01
02:00
01:57
01:07
5月28日
23:48
16:53
11:30
11:30arXiv cs.AI@Linas Nasvytis, Simon Jerome Han, Ben Prystawski, Satchel Grant, Noah D. Goodman, Judith E. Fan
精选72°
论文提出一种名为对比反思（CORE）的非参数学习算法，通过对比成功与失败的推理轨迹，生成简短的自然语言洞察（如策略和约束），从而快速提升模型推理能力。实验表明，CORE在四个推理任务上比参数方法（如GRPO）和非参数方法（如GEPA、情景RAG）收敛更快，仅需5个训练样本即可达到可比或更优的性能。该方法还显著节省上下文token，将学到的知识压缩为可解释的洞察，而非直接存储轨迹。研究指出，将推理成败对比蒸馏为抽象洞察，是比权重更新或提示优化更高效、更可解释的模型自我改进路径。
论文推理模型对比学习非参数方法模型自我改进CORE
推荐理由：CORE用极少的样本和推理次数就能让模型快速变聪明，做推理优化或小样本学习的团队值得关注，尤其适合资源受限场景。
原文
11:27
11:27arXiv cs.AI@Jiazhen Huang, Xiao Chen, Xiao Luo, Yong Dai, Senkang Hu, Yuzhi Zhao
精选
本文提出 Skill-Conditioned Gated Self-Distillation (SGSD) 方法，用于改进大语言模型的推理能力。传统自蒸馏方法依赖可信的先验信息（如参考答案），而 SGSD 从经验技能库中检索技能-错误对，构建多教师池，通过验证器判断教师极性，并设计门控目标函数来蒸馏有效信息。在多个数学推理基准上，SGSD 在 Qwen3-1.7B 上平均比 GRPO 提升 6.2%，比 OPSD 提升 1.7%，且对先验信息的假设更弱。代码已开源。
论文推理模型自蒸馏数学推理技能库LLM
推荐理由：做 LLM 推理优化的研究者可以关注——SGSD 用技能库替代参考答案作为先验，降低了蒸馏对标注数据的依赖，数学推理场景效果显著，值得在自蒸馏框架中尝试。
原文
10:40
10:40rohanpaul_ai@rohanpaul_ai
精选
研究发现，长时间运行的语言智能体如果定期暂停并整合记忆，性能会更好。当前Transformer模型随着上下文增长，注意力机制需要检查更多历史token，导致推理变慢且成本增加。论文提出在模型中引入“睡眠阶段”：暂停推理，多次重读近期上下文，将有用信息写入固定大小的记忆层，然后清空短期注意力缓存。这样，模型在睡眠时进行额外计算，而正常推理仍保持单次前向传播的高效。实验表明，睡眠时间越长，模型在需要深度推理的复杂任务上表现越好，尤其当旧信息已不在注意力缓存中时。
论文智能体长上下文记忆整合注意力机制推理模型
推荐理由：长时运行智能体终于有了解决上下文膨胀问题的思路——做Agent或长链推理的开发者值得关注，它可能改变你处理长期记忆的方式。
原文
5月27日
20:56
20:56berryxia@berryxia
88°
Anthropic 于 2026 年 4 月 7 日发布 Project Glasswing 及 Claude Mythos Preview，该前沿模型网络攻防能力极强，因安全顾虑仅开放给合作伙伴用于防御。OpenAI 则在 5 月 20 日宣布其内部通用推理模型成功推翻数学家 Paul Erdős 的平面单位距离问题猜想。这两件事共同表明，前沿模型在更高抽象层面的可靠推理能力已迈过临界点，能稳定处理完整论证和知识体系，而非仅限片段操作。Claude Mythos Preview 在编码和网络安全评测中表现突出，多数基准测试超越 GPT-5.5。
AI模型推理模型网络安全数学证明AnthropicOpenAI
推荐理由：AI 推理能力从片段到完整体系的跃迁，是开发者和安全从业者必须关注的分水岭——Claude Mythos 的防御性开放和 OpenAI 的数学突破，直接改变了模型应用边界，建议点开了解具体案例。
原文
13:43
12:15
12:15arXiv: DeepSeek@Kia-Jüng Yang, Dominik Meier, Jiachen Zhao, Terry Ruas, Bela Gipp
精选72°
最新研究发现，大型推理模型（LRM）的拒绝机制不仅依赖于残差流激活，还依赖于思维链（CoT）。在 DeepSeek-R1-Distill-LLaMA-8B 上，固定 CoT 时激活引导仅能反转 39% 的拒绝，移除 CoT 后提升至 70%，表明 CoT 主动强化了拒绝。通过两阶段干预（在激活引导下重新生成 CoT），拒绝反转率达到 94%，且生成的 CoT 在移除引导后仍能独立保持 48% 的顺从信号。这说明 CoT 可以独立携带并重建顺从信号，使 LRM 对激活级干预更鲁棒，但也暴露出 CoT 可能成为新的攻击面。
论文推理模型安全/对齐思维链激活引导DeepSeek-R1
推荐理由：这项研究揭示了 CoT 在模型安全中的双重角色——既增强鲁棒性又引入新风险，做 AI 安全和对齐的团队值得关注，尤其是使用推理模型的开发者需要重新评估防御策略。
原文
10:51
10:51arXiv cs.LG@Shijin Gong, Erhan Xu, Kai Ye, Francesco Quinzan, Giulia Livieri, Chengchun Shi
精选
BASIS 是一种无需评论家的后训练算法，通过单次采样每个提示的轨迹，并利用整个批次中跨提示的信息共享来改进价值函数估计。实验表明，与单次采样的 REINFORCE++ 基线相比，BASIS 将价值函数估计的均方误差降低了 69%，且单次采样的 MSE 低于 8 次采样的组均值估计器。这种改进带来了更好的策略优化：BASIS 用更少的训练时间达到了接近多采样 GRPO 型基线的性能，并常优于单采样 REINFORCE 型基线。该工作解决了强化学习在计算效率与样本效率之间的权衡问题。
论文强化学习推理模型LLM训练价值函数估计BASIS
推荐理由：做LLM推理强化学习的团队终于有了一个兼顾计算和样本效率的方案——BASIS用单次采样就达到多采样的效果，训练成本大幅降低，建议做RLHF或推理优化的开发者点开看看。
原文
04:08
5月26日
23:21
14:28
12:38
12:38arXiv: DeepSeek@Andreas Opedal, Francesco Ignazio Re, Abulhair Saparov, Mrinmaya Sachan, Bernhard Schölkopf, Ryan Cotterell
精选
研究者将自然语言推理建模为搜索问题，利用 A* 搜索算法指导 LLM 生成正确且高效的推理步骤。通过监督微调（基于 A* 执行轨迹）和强化学习（结合 A* 过程奖励模型），Llama-3.2 1B-3B 模型从近乎零准确率提升至超越 DeepSeek-V3.2。研究发现，简单正确性奖励最大化准确率，而 A* 信号能平衡准确率与效率。在更大搜索空间下，基于不完美启发式的训练反而带来更优准确率。这项工作展示了经典搜索算法指导 LLM 推理的潜力。
论文推理模型A* 搜索后训练强化学习Llama-3.2
推荐理由：A* 搜索让小模型推理能力大幅跃升，做推理优化或小模型部署的团队值得关注，可以直接参考其训练方法。
原文
12:38
12:38arXiv: DeepSeek@Ali Şenol, Garima Agrawal, Huan Liu
精选
当前LLM评估主要依赖最终答案正确率，忽略了推理过程的质量。本研究提出一个多维度行为框架，从正确性、一致性、鲁棒性、逻辑连贯性、效率和稳定性六个维度衡量推理质量。实验发现，逻辑连贯性与正确性正交（r=-0.172），即正确答案可能来自不连贯推理。该框架还暴露了排名反转：DeepSeek-V3在准确率优先下排名第二，但在法律/合规权重下排名第五。该框架为模型部署决策提供了更全面的信号，特别适用于需要审计推理过程的场景。
论文推理模型评估框架逻辑连贯性模型审计DeepSeek-V3
推荐理由：这个框架解决了「只看答案正确率」的评估盲区，做模型选型或合规审计的团队会发现，原来高分模型可能推理过程一团糟——建议点开看看你的模型在哪个维度翻车。
原文
12:37
12:37arXiv: DeepSeek@Faizan Faisal
精选
一项新研究评估了GPT-5.4、DeepSeek-V4-Flash和Gemma-4-E4B在临床SOAP笔记生成中的表现，发现启用推理能力反而显著降低了GPT-5.4的输出质量。研究使用OMI Health、ACI-Bench和PriMock57三个数据集，通过2x2实验设计控制推理和检索增强生成（RAG）两个因素。结果显示，非推理配置的GPT-5.4整体质量最高，而DeepSeek-V4-Flash在推理配置中表现最佳。同源RAG带来模型依赖的小幅提升，但推理能力不应被假设为能自动改善对保真度敏感的临床文档生成。
论文推理模型临床文档SOAP笔记GPT-5.4DeepSeek-V4-Flash
推荐理由：医疗AI开发者注意了：推理模型在临床文档任务上可能适得其反，做医疗NLP的团队在部署前务必做任务专属评估，别盲目相信推理能力。
原文
12:37
12:37arXiv: DeepSeek@Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei
精选72°
本文首次揭示了大型语言模型（LLM）推理过程中置信度的动态模式：正确推理轨迹的置信度随时间提升（正增益），而错误轨迹则衰减。基于此发现，作者提出置信度动态增益（CDG）投票方法，在多个开源模型（DeepSeek-R1、gpt-oss、Gemma-3、Qwen-QwQ）和基准测试（AIME24/25、HMMT25、BRUMO25）上显著提升了推理答案选择的准确性。该方法为推理优化提供了新的判别信号，并附有理论解释。代码已开源。
论文推理模型置信度动态投票优化开源/仓库LLM 推理
推荐理由：做 LLM 推理优化的开发者终于有了一个基于置信度动态的简单有效方法——CDG 投票在多个模型上都能提升准确率，值得直接试。
原文
11:46
11:46arXiv cs.AI@Haolang Zhao, Yunbo Long, Lukas Beckenbauer, Alexandra Brintrup
精选72°
深度研究智能体在处理复杂信息时，现有系统依赖大模型隐式推理来演化中间表征，导致信息污染和错误传播。VeriTrace 提出通过显式反馈循环（解释更新、偏差反馈、模式修正）来持续对齐任务理解与现实，并基于认知图谱框架实现。在 Qwen3.5-27B 基座上，VeriTrace 在 DeepResearch Bench 洞察力指标上提升 4.22 个百分点，在 DeepConsult 上胜率提升 5.9 个百分点。与 Config-DeepSeek 结合，它取得了 DRB 上最强的可复现开源结果。
论文深度研究智能体认知图谱显式反馈推理模型开源/仓库
推荐理由：做深度研究或复杂推理系统的开发者，VeriTrace 用显式反馈替代隐式推理，解决了信息污染和错误传播的痛点，值得在开源项目中尝试。
原文
11:44
11:44arXiv cs.AI@Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti
精选
论文提出一种类似睡眠的记忆巩固机制，让 Transformer 模型在长上下文任务中表现更好。模型在推理过程中定期将近期上下文转换为持久化的快速权重，并清除键值缓存，类似生物体的睡眠过程。在睡眠阶段，模型对积累的上下文进行多次离线循环处理，通过局部学习规则更新状态空间模型（SSM）块中的快速权重。在合成任务（如元胞自动机、多跳图检索）和数学推理任务上，该方法显著优于普通 Transformer 和 SSM-注意力混合模型。增加睡眠时长 N 能持续提升性能，尤其在需要深层推理的样本上效果最明显。
论文Transformer长上下文记忆巩固推理模型状态空间模型
推荐理由：这项研究给长上下文推理带来了新思路——用类似睡眠的离线巩固机制解决注意力瓶颈，做长链推理或复杂数学问题的开发者值得关注，尤其适合处理超长上下文的场景。
原文
10:57
08:41
08:41IT之家（博客/媒体）
88°
Anthropic 的最强模型 Claude Mythos 预览版在 Claude Code 和 Claude Security 中短暂出现后被撤下，暗示即将公开上线。该模型定位为面向计算机安全任务的前沿模型，相比 Opus 4.7 在代码推理和自主执行方面显著提升。Anthropic 此前警告 Mythos 能自动开发专业级网络攻击手段，因此迟迟未全面开放。同时，Anthropic 推进名为 Glasswing 的项目，联合其他公司保护关键软件系统，已使用 Mythos Preview 帮助 50 家组织。这一动态表明 Anthropic 在平衡模型能力与安全风险后，可能准备向更广泛用户开放。
AI模型AnthropicClaude Mythos推理模型代码推理安全
推荐理由：Anthropic 最强模型 Mythos 即将公开，做安全研究和代码自动化的开发者值得关注——它既能大幅提升效率，也带来新的安全挑战，建议提前了解其能力边界。
原文
01:28
01:28elvis@omarsar0
精选76°
微软研究院提出 SkillOpt，一种将智能体技能文档视为可训练外部状态的新方法。该方法通过一个优化器模型对技能文件进行验证门控的增删改编辑，并引入文本学习率控制改写强度，而智能体本身保持不变。在 52 个（模型、基准、工具）组合上，SkillOpt 均达到最佳或并列最佳，在 GPT-5.5 上直接聊天提升 23.5 点，与 Codex 配合提升 24.8 点，与 Claude Code 配合提升 19.1 点，且零额外推理成本。学到的技能可跨模型和工具迁移，效果优于人工编写技能、TextGrad、GEPA 和 EvoSkill。
论文智能体技能优化微软SkillOpt推理模型
推荐理由：做智能体开发的工程师别再手写技能文档了——SkillOpt 证明自动优化技能文件能带来显著性能提升，且零推理开销，值得在你的 Agent 工作流中尝试。
原文
5月25日
21:41
12:12
10:20
5月24日
16:25
15:43
14:44
13:52
13:04
5月23日
23:36
17:51
5月22日
22:16
14:00
11:02
11:02arXiv cs.AI@Ali Hatamizadeh, Yejin Choi, Jan Kautz
精选72°
线性注意力模型通过固定大小的循环状态替代软注意力的无限缓存，但如何高效编辑压缩记忆而不打乱已有关联是难点。现有Delta规则模型使用单一标量门控同时控制擦除旧内容和写入新内容，存在耦合限制。Gated DeltaNet-2提出通道级擦除门控b_t和写入门控w_t，将两者解耦，可退化为KDA和Gated DeltaNet。在1.3B参数、100B FineWeb-Edu tokens训练下，该模型在语言建模、常识推理和检索任务上全面超越Mamba-2、Gated DeltaNet、KDA和Mamba-3。尤其在长上下文RULER基准的多键检索设置中优势显著，代码已开源。
论文线性注意力门控机制长上下文开源/仓库推理模型
推荐理由：线性注意力研究者终于有了更精细的门控机制——Gated DeltaNet-2把擦除和写入分开控制，做高效长序列建模的团队可以直接复现并对比效果。
原文
10:46
10:46arXiv: DeepSeek@Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao
精选
论文研究了在推理任务中，教师模型token的可靠性并非均匀分布，而是与序列中的位置强相关。作者提出分支可行性诊断方法，发现位置得分是预测教师token可靠性的最强指标（AUROC达0.83），而局部不确定性得分效果很差。基于此，提出位置加权在线策略自蒸馏（PW-OPSD），在保持原有训练框架的同时，对越靠后的token赋予更高权重。在Qwen3-4B上，PW-OPSD使AIME 2024和2025的Avg@12分别提升1.0和1.1分，在DeepSeek-R1-Distill-Llama-8B和Olmo-3-7B-Think上也取得一致改进。该方法无需额外教师计算，直接利用轨迹结构提升蒸馏效果。
论文推理模型自蒸馏位置加权教师模型token可靠性
推荐理由：做推理模型蒸馏的团队终于有了一个简单有效的改进方向——不用改架构，只需调整token权重就能提升1分以上，值得在自家模型上复现。
原文
09:37