Sparse

§ 01综述

Sparse（稀疏性）是机器学习和AI领域中一种通过减少参数或计算量来提升模型效率的关键技术，尤其在注意力机制、模型压缩和推理加速中扮演核心角色。近期，稀疏性相关研究在长上下文处理、3D生成、视频扩散等方向取得显著突破，推动了大模型从理论走向高效落地。

Sparse近期进展

MiniMax发布MSA稀疏注意力与M3模型：MiniMax提出两分支块稀疏注意力MSA，在1M上下文长度下计算量降低28倍，并开源了对应模型M3。该工作展示了稀疏注意力在超长文本推理中的巨大潜力。MiniMax发布MSA：两分支稀疏注意力，1M上下文计算量降28倍

NVIDIA时空缓存压缩加速视频扩散5-10倍：NVIDIA通过利用视频帧间的时空稀疏性，设计缓存压缩机制，在不明显损失质量的前提下显著加速了扩散模型的视频生成速度。NVIDIA新论文提出时空缓存压缩，视频扩散加速5-10倍

FLUX3D：扩散对齐稀疏表示生成高保真3D高斯：研究者将扩散模型与稀疏表示对齐，实现从图像或文本高效生成精细的3D高斯场景，为三维内容创建提供了新范式。FLUX3D：扩散对齐稀疏表示实现高保真3D高斯生成

Graph Sparse Sampling打破连续MDP规划中的视界诅咒：该工作通过在图规划中引入稀疏采样策略，有效缓解了长视界规划中的组合爆炸问题，为强化学习在连续控制中的应用提供了新的理论工具。Graph Sparse Sampling：打破连续MDP规划中的视界诅咒

当前焦点与观察点

当前稀疏性研究焦点集中在如何平衡计算效率与模型性能，以及如何与硬件架构（如GPU、国产芯片）协同设计。稀疏注意力、稀疏训练、稀疏表示等技术正加速从学术实验走向工业部署，例如MiniMax的MSA已开源并被集成到vLLM中。然而，稀疏性带来的训练不稳定、稀疏模式选择及硬件高效支持仍是挑战。未来，稀疏性与专家混合（MoE）、量化、蒸馏等技术的融合，有望成为构建千亿参数级高效模型的关键路径。

§ 02相关报道10 条在档

§ 03邻近话题