精选理由
NF-CoT解决了潜在推理中丢失CoT关键优势的痛点，做LLM推理优化和代码生成的开发者可以直接参考其方法，提升效率。
大型语言模型通过显式思维链（CoT）提升推理能力，但文本CoT强制中间计算通过离散、串行的令牌流进行，效率低下。潜在推理通过在紧凑连续状态中进行中间计算，提供了更高带宽的替代方案。然而，现有潜在推理方法牺牲了CoT的关键优势，如从左到右生成、概率采样、KV缓存兼容性和可处理似然估计。本文提出NF-CoT框架，通过在LLM骨干网络内实例化TARFlow风格的归一化流，对从显式CoT中提取的紧凑连续思维进行可处理概率建模。NF-CoT在代码生成基准测试中，相比显式CoT和先前潜在推理基线，提高了通过率，同时大幅降低了中间推理成本。
AI 翻译 · 中文
大型语言模型通过显式思维链（CoT）提升推理能力，但文本CoT强制中间计算通过离散、串行的令牌流进行，效率低下。潜在推理通过在紧凑连续状态中进行中间计算，提供了更高带宽的替代方案。然而，现有潜在推理方法牺牲了CoT的关键优势，如从左到右生成、概率采样、KV缓存兼容性和可处理似然估计。本文提出NF-CoT框架，通过在LLM骨干网络内实例化TARFlow风格的归一化流，对从显式CoT中提取的紧凑连续思维进行可处理概率建模。NF-CoT在代码生成基准测试中，相比显式CoT和先前潜在推理基线，提高了通过率，同时大幅降低了中间推理成本。
Large language models often improve reasoning by generating explicit chain-of-thought (CoT), demonstrating the importance of intermediate computation. However, textual CoT forces this computation through a discrete, seri…