AITOP

5月14日

18:29

Meta AI@AIatMeta

精选63

Meta 宣布其新模型 Muse Spark 在预训练、强化学习和测试时推理三个维度上实现了可预测且高效的扩展。通过重建预训练栈，包括改进模型架构、优化和数据整理，Muse Spark 在达到相同能力水平时所需的计算量比前代 Llama 4 Maverick 减少了一个数量级。Meta 分享了其缩放定律研究方法，展示了 Muse Spark 在效率上的显著提升，旨在构建个人超级智能。

AI模型 Muse Spark Llama 4 预训练缩放定律效率优化

推荐理由：Meta 用实际数据证明了 Muse Spark 的预训练效率比 Llama 4 提升 10 倍以上，做模型训练或资源优化的团队值得关注其缩放定律方法，可以直接借鉴来评估自己的模型效率。

5月13日

21:36

Moonshot AI: Kimi Blog（资讯）

60

Moonshot AI 提出了一种名为 MoBA（混合块注意力）的新机制，旨在高效处理长文本序列。该机制将注意力计算划分为多个块，并动态选择相关块进行计算，从而大幅降低计算复杂度。实验表明，MoBA 在保持模型性能的同时，显著提升了长文本处理效率，尤其适用于需要处理超长上下文的场景。这一创新为长文本大模型的实际应用提供了新的解决方案。

论文 MoBA 长文本注意力机制 Moonshot AI 效率优化

推荐理由：MoBA 解决了长文本大模型计算效率低下的痛点，做 NLP 或大模型应用的开发者可以直接参考其设计思路，提升模型处理超长文本的能力。

19:12

arXiv: DeepSeek@Zizhao Chen, Yuying Li, Siting Lin, Lianxi Wang

精选75

大语言模型在复杂推理中常出现“过度思考”问题，导致推理链过长、效率低下。现有强化学习方法通过设计复杂奖励函数压缩推理链，但高质量样本在探索空间中极为稀疏，形成采样瓶颈。受认知科学启发，研究者从理论上证明，参考答案引导的后验分布比先验分布具有更高期望效用，可突破高质量样本的采样瓶颈。为此，他们提出VPG-EA框架，将高效推理形式化为变分推断问题，引入效率感知的证据下界作为理论基础。该框架采用参数共享的双流架构实例化后验分布和先验策略，通过交叉视图评估过滤伪高效路径，再通过变分蒸馏将后验的高效模式单向迁移至先验策略。在DeepSeek-R1-Distill-Qwen-1.5B和7B规模上的实验显示，VPG-EA在综合效率指标ε³上分别比最强基线提升8.73%和12.37%。

论文推理模型效率优化变分推断过度思考知识蒸馏

推荐理由：这篇论文为LLM推理效率问题提供了理论严谨且可落地的解决方案，做推理优化或模型压缩的研究者可以直接参考其变分蒸馏方法，值得细读。