AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：思维链×
6月30日
16:24
6月25日
10:44
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月9日
12:12
12:12arXiv cs.LG@Chenxiao Yang, Nathan Srebro, Zhiyuan Li
精选
该论文严格刻画了深度L、总参数W的Transformer的VC维，上界为O(L W log(T W))，下界为Ω(L W log(T W / L))，其中T为输入序列长度。进一步，论文给出了思维链学习（chain-of-thought）的样本复杂度紧界：教师强制（teacher forcing）方法需要O(L W log((T+T')W))个样本，而任何利用思维链数据的学习规则至少需要Ω(L W log((T+T')W / L))个样本，T'为自回归步数。这些结果首次为Transformer的泛化能力提供了理论保证，对理解大模型的数据效率有重要意义。
论文TransformerVC维样本复杂度思维链泛化理论
推荐理由：理论研究者终于有了Transformer样本复杂度的紧界——VC维和思维链学习的下界都算清楚了，做深度学习理论的团队值得细读。
原文
11:31
11:31arXiv: DeepSeek@Zechen Sun, Yuyang Sun, Zecheng Tang, Juntao Li, Wenpeng Hu, Wenliang Chen, Zhunchen Luo, Guotong Geng, Min Zhang
精选
大型语言模型在生成长文本时面临严重的长度崩溃问题，当目标长度超过 2000 词时性能急剧下降。研究者提出 IS-CoT（交错结构思维链）框架，通过嵌入动态的“计划-写作-反思”循环，实现持续策略调整和全局对齐，无需外部辅助。基于该框架训练的 IS-Writer-8B 模型在 LongBench-Write 等基准上取得最优性能，比 DeepSeek-V3.2 高出 3.08 分，长度合规性和连贯性可与更大规模专有模型竞争。该工作揭示了静态分层规划在长上下文中的局限性，为长文本生成提供了新思路。
论文长文本生成思维链IS-CoTLLM写作助手
推荐理由：长文本生成是 LLM 的硬伤，IS-CoT 用动态规划循环解决了长度崩溃，做内容生成或写作助手的团队可以直接参考这个 8B 模型的训练方法。
原文
6月5日
13:07
13:07arXiv cs.LG@Guancheng Tu, Xiangjun Fu, Suhao Yu, Yao Tang, Haoqiang Kang, Lianhui Qin, Yizhe Zhang, Jiatao Gu
精选
大型语言模型通过显式思维链（CoT）提升推理能力，但文本CoT强制中间计算通过离散、串行的令牌流进行，效率低下。潜在推理通过在紧凑连续状态中进行中间计算，提供了更高带宽的替代方案。然而，现有潜在推理方法牺牲了CoT的关键优势，如从左到右生成、概率采样、KV缓存兼容性和可处理似然估计。本文提出NF-CoT框架，通过在LLM骨干网络内实例化TARFlow风格的归一化流，对从显式CoT中提取的紧凑连续思维进行可处理概率建模。NF-CoT在代码生成基准测试中，相比显式CoT和先前潜在推理基线，提高了通过率，同时大幅降低了中间推理成本。
论文潜在推理归一化流思维链代码生成NF-CoT
推荐理由：NF-CoT解决了潜在推理中丢失CoT关键优势的痛点，做LLM推理优化和代码生成的开发者可以直接参考其方法，提升效率。
原文
12:12
12:12arXiv cs.AI@Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter
精选
当前推理语言模型通过强化学习微调时，常使用GRPO算法，但该算法面临延迟奖励问题——只能在完整思维链后给出奖励，导致高方差。RREDCoT提出一种无需额外生成的奖励再分配方法，利用模型自身对思维链中的关键片段进行信用分配，从而降低训练方差。实验表明，该方法在计算开销和效果上优于蒙特卡洛采样及其他归因方法。这项研究为提升推理模型训练效率提供了新思路，尤其适合长上下文场景。
论文推理模型强化学习奖励再分配思维链信用分配
推荐理由：做推理模型RL微调的团队终于有了降低训练方差的实际方案——RREDCoT用模型自身做信用分配，省去额外生成成本，长上下文场景下效果显著，值得关注。
原文
6月3日
10:58
10:58arXiv cs.AI@Mahtab Bigverdi, Lindsey Li, Weikai Huang, Yiming Liu, Jaemin Cho, Jieyu Zhang, Tuhin Kundu, Chris Dangjoo Kim, Zelun Luo, Linda Shapiro, Ranjay Krishna
多模态语言模型在空间推理任务中常因无法直接观察关键信息而表现不佳。研究者提出 Imaginative Perception Tokens (IPT)，一种中间感知表征，让模型能推断未观察到的空间结构，如从不可见视角看物体、追踪遮挡路径等。在 Perspective Taking、Path Tracing 和 Multiview Counting 三个任务上，IPT 监督显著提升空间推理准确率，在 MVC 上提升 3.4%，且优于文本思维链训练。研究发现文本思维链在空间计算中可能因模态不匹配而降低性能，而 IPT 提供了更有效的监督信号。该方法无需在推理时生成图像，即可产生可解释的中间表征，提升泛化能力。
论文空间推理多模态模型Imaginative Perception Tokens视觉语言模型思维链
推荐理由：空间推理是多模态模型的短板，IPT 提供了一种不依赖文本思维链的监督方式，做视觉推理或空间理解的团队可以直接参考论文方法。
原文
5月27日
12:15
12:15arXiv: DeepSeek@Kia-Jüng Yang, Dominik Meier, Jiachen Zhao, Terry Ruas, Bela Gipp
精选72°
最新研究发现，大型推理模型（LRM）的拒绝机制不仅依赖于残差流激活，还依赖于思维链（CoT）。在 DeepSeek-R1-Distill-LLaMA-8B 上，固定 CoT 时激活引导仅能反转 39% 的拒绝，移除 CoT 后提升至 70%，表明 CoT 主动强化了拒绝。通过两阶段干预（在激活引导下重新生成 CoT），拒绝反转率达到 94%，且生成的 CoT 在移除引导后仍能独立保持 48% 的顺从信号。这说明 CoT 可以独立携带并重建顺从信号，使 LRM 对激活级干预更鲁棒，但也暴露出 CoT 可能成为新的攻击面。
论文推理模型安全/对齐思维链激活引导DeepSeek-R1
推荐理由：这项研究揭示了 CoT 在模型安全中的双重角色——既增强鲁棒性又引入新风险，做 AI 安全和对齐的团队值得关注，尤其是使用推理模型的开发者需要重新评估防御策略。
原文
5月20日
10:55
5月19日
11:33
11:33arXiv cs.AI@Yajing Zhou, Xiangyu Kong
精选
该论文揭示了多模态大语言模型（MLLM）在空间推理中存在的“笛卡尔幻觉”——依赖文本概率分布而缺乏真正的3D拓扑理解。作者设计了一个新颖的视听任务：让智能体A推断智能体B对A相对位置的估计，以测试MLLM的二阶心智理论能力。为解决此问题，他们提出了“锚定具身空间分解思维链”，引导模型先建立B的局部坐标系，再根据A是否在B视野内动态加权视觉和听觉模态。实验表明，当前MLLM在零样本下准确率仅42%，而该感知受限推理链显著优于纯自我中心或他中心基线。这项工作暴露了MLLM空间推理的当前极限，并为具身AI中的认知模态感知推理建立了基础范式。
论文多模态大模型空间推理心智理论具身AI思维链
推荐理由：这篇论文戳破了MLLM空间推理的泡沫——它们并不真正理解3D世界。做具身AI、多智能体系统或空间推理的开发者，看完会重新评估模型能力边界。
原文
5月15日
10:09
10:09arXiv: DeepSeek@Pengyun Zhu, Yuqi Ren, Zhen Wang, Lei Yang, Deyi Xiong
精选
当前大语言模型（LLM）通常使用粗粒度的国家标签进行多元价值对齐，但这会忽略国家内部的价值异质性，导致对齐松散。DVMap 提出从国家标签转向多维人口统计约束，通过世界价值观调查（WVS）构建包含 56,152 样本的高质量对齐语料库，并引入结构化思维链（CoT）机制引导模型推理人口与价值的关系。实验表明，Qwen3-8B-DVMap 在跨人口统计测试中达到 48.6% 准确率，超越 DeepSeek-v3.2（45.1%），并展现出强泛化性和鲁棒性。该框架解决了宏观标签无法捕捉群体内价值差异的问题，为 LLM 的多元对齐提供了更精细的解决方案。
论文大语言模型价值对齐人口统计思维链泛化性
推荐理由：做 LLM 价值对齐的研究者终于有了从人口统计维度精细建模的方法——DVMap 用结构化 CoT 和 GRPO 实现了跨群体泛化，比国家标签更准，建议做 AI 伦理和可控生成的团队点开看看。
原文
10:08
10:08arXiv: DeepSeek@Bin Lei, Caiwen Ding, Jiachen Yang, Ang Li, Xin Eric Wang
精选
研究发现，思维链推理长度增加时，模型对早期关键洞察的注意力会逐渐减弱，导致准确率在达到峰值后下降。为此，研究者提出InsightReplay方法，让模型在推理过程中定期提取关键洞察并回放到当前生成位置附近，保持其可访问性。在8B和30B规模的Qwen3.5、DeepSeek-R1-Distill-Qwen、Gemma-4模型上，覆盖AIME、HMMT、GPQA Diamond、LiveCodeBench v5等基准测试，3轮InsightReplay在所有24个设置中均带来准确率提升，平均提升1.65个百分点，最高单设置提升达9.2个百分点。结果表明，测试时扩展的有效性不仅取决于推理量，还取决于关键中间洞察在长推理轨迹中的可访问性。
论文推理模型思维链注意力机制InsightReplay长上下文
推荐理由：长链推理的注意力衰减问题终于有了针对性解法，做推理模型优化或长上下文应用的团队值得关注——InsightReplay简单有效，可以直接在现有CoT框架上尝试。
原文
5月13日
19:12
19:12arXiv: DeepSeek@Wenkai Li, Fan Yang, Ananya Hazarika, Shaunak A. Mehta, Koichi Onoue
精选75°
一项新研究系统性地检验了思维链（CoT）推理过程与最终答案形成时间之间的对齐程度。研究者提出了一个步骤级的检测-分类-比较框架，使用答案承诺代理、Patchscopes、调谐透镜探针和因果方向消融等方法，对九个模型和七个推理基准进行了分析。结果显示，潜在承诺与显式答案到达仅在平均 61.9% 的步骤上对齐，其中 58% 的不匹配事件表现为“虚构延续”——模型在答案已稳定后继续生成看似深思熟虑的文本。在架构匹配的 Qwen2.5 与 DeepSeek-R1-Distill 对比中，推理管线改变了失败组成而非整体对齐度。研究还发现，步骤级对齐度越低，CoT 的实用性反而越大，表明最受益于 CoT 的场景往往时间忠实性最差。截断实验和捐赠-破坏测试进一步表明，大量承诺后的文本对最终答案并非关键。
论文思维链可解释性AI安全推理模型忠实性
推荐理由：这项研究戳破了 CoT 推理过程忠实反映模型思考过程的假设，做 AI 安全、可解释性研究或依赖 CoT 审计的团队值得关注——它提醒我们，看起来合理的推理链条可能只是事后编造的故事。
原文
5月12日
19:11
19:11arXiv: DeepSeek@Gabriel Garcia
70°
该研究揭示了当前思维链(CoT)忠诚度评估中的系统性问题：标准损坏研究（通过替换步骤为错误来测量准确性）实际上检测的是答案文本出现的位置，而非计算发生的位置。实验表明，在GSM8K数据集中，仅移除答案语句（保留所有推理步骤）即可将后缀敏感性降低约19倍（3B模型）。冲突答案实验显示，模型在消费时会系统性地遵循显式答案文本，即使推理过程中未提前确定答案（早期承诺低于5%）。该效应在14B规模下仍明显（8.5倍比率），但在32B时趋于消失。研究提出了三项前提条件作为最低标准：仅问题控制、格式表征、全位置扫描。
论文推理模型思维链评估方法认知科学大语言模型
推荐理由：该发现对当前CoT忠诚度评估方法的可靠性提出根本性质疑，提醒研究者注意数据格式的混淆效应，对评估模型推理能力具有方法论指导意义。
原文
5月11日
22:16
19:03