9月1日
12:10
12:10官方账号arXiv cs.LG@Nikita Koriagin, Yaroslav Aksenov, George Bredis, Gleb Gerasimov, Nikita Balagansky, Daniil Gavrilov
精选73°
研究人员提出Soft Latent Thinking方法,在推理过程中用轻量投影器替代大词汇量头。在DeepSeek-Qwen-1.5B和LLaMA-3.2-3B模型上测试,该方法在所有k值下均提升pass@k指标,同时减少思维链每步计算量。该方法在所有软思维方法中达到最高pass@32,证明连续空间可有效进行推理。
推荐理由:新方法让模型在嵌入空间连续推理,不生成离散token,性能还提升了。