DeepSeek-V3

§ 01综述

DeepSeek-V3 是深度求索公司发布的大型语言模型，以 MoE 架构和高性价比著称。近期围绕该模型的研究集中在推理性能提升、知识蒸馏优化和评估框架完善等方面。

推理能力追赶与超越：有研究表明，通过 A 搜索后训练，仅 1B 参数的模型即可在推理任务上超越 DeepSeek-V3.2，说明小模型结合高效搜索算法具有巨大潜力（A 搜索后训练让 1B 模型推理超越 DeepSeek-V3.2）。

MoE 架构设计解耦探索：一篇针对 MoE 推理解耦设计空间的研究，系统分析了 Attention 与 FFN 解耦对模型性能的影响，为未来 MoE 模型优化提供了方向（MoE 模型推理解耦设计空间探索）。

知识蒸馏中的权衡：在医疗领域，CoT 蒸馏虽提升了答案准确率，但推理步骤错误率反而上升，提示蒸馏过程需要更精细控制（医疗CoT蒸馏：答案准确率提升，推理步骤错误率反升）。

评估框架创新：新的多维度行为评估框架指出，仅用准确率衡量 LLM 推理质量存在盲区，这一观点对 DeepSeek-V3 等模型的评测具有参考价值（LLM推理质量评估新框架）。

当前焦点：DeepSeek-V3 的推理能力优化是核心关注点，尤其是小模型通过后训练或搜索算法能否达到甚至超越其表现。未来值得观察：MoE 架构的解耦设计是否会在下一代模型中被采纳；蒸馏过程中推理步骤准确性的保持方法；以及多维度评估框架如何影响模型迭代方向。

§ 02相关报道10 条在档

§ 03邻近话题