arXiv 论文提出 opinion leader dynamics，解释稀疏注意力如何塑造 token 聚类

一篇 arXiv 论文把 token 建为单位球面上的粒子，提出 opinion leader dynamics 框架，从理论上解释稀疏注意力为何能让 token 组内收敛、组间保持分离。作者把显式与隐式两类模型表述为 reverse Wasserstein gradient flow，并在适当条件下证明指数收敛。实验对比了稀疏注意力的 Kimi-K3、MiniMax-M3、DeepSeek-V4-Flash 与稠密注意力的 GLM-4.7-Flash，在四个基准上稀疏模型投影后的 token 呈现更清晰的簇分离和更高聚类分数。论文据此给出动力学解释：受限的 token 交互对应组级吸引子，使稀疏注意力能同时支持组内对齐与组间区分。