CoT 推理的分布外泛化机制研究：风险上界与实验验证

一篇 arXiv 论文将 Chain-of-Thought（CoT）视为组合式分布外（OOD）泛化问题：训练只提供分布内原子步骤数据，目标任务的推理步数为 T。论文证明 OOD 任务风险由分布内子任务风险之和乘以与 T 无关的 O(k) 系数控制，Rademacher 复杂度分析显示估计项为 O(√(T/n)) 而非随 T 线性增长。在 GSM8K 和 Atom-Task 上的实验支持该理论：CoT 能实现短到长和组合泛化，显式状态跟踪是关键。代码已在 GitHub 开源。