可微分相关 AI 资讯 · AI 热点

7月24日

23:36

23:36

berryxia@berryxia

精选

Google发布了gmn，一个参数化、完全可微分的3D头部模型，所有面部动作和表情可精细控制并实时调整。该模型不需要GPU即可在CPU上运行，并在Hugging Face上提供了交互demo，用户可直接拖动参数观察表情变化。可微分特性使其能无缝接入神经网络训练流程，方便表情迁移、逆向渲染和虚拟人驱动。相比以往高质量3D头部模型要么过重要么难以与AI管线打通，gmn以开源参数化版本解决了这些问题。

AI模型 gmn Google 3D模型

推荐理由：Google出了个能在CPU上跑的3D头部模型gmn，所有表情都能调，还有在线demo直接玩，做虚拟人搞渲染都方便了。

5月19日

14:22

14:22

官方账号arXiv cs.AI@Yuxiang Huang, Nuno M. T. Gonçalves, Federico Alvetreti, Lei Li, Xu Han, Edoardo M. Ponti, André F. T. Martins, Marcos V. Treviso

精选72°

DashAttention 提出了一种新的分层注意力机制，通过可微分的 α-entmax 变换替代传统 top-k 操作，自适应地为每个查询选择可变数量的关键值块，从而解决了现有方法（如 NSA 和 InfLLMv2）中固定块数和梯度阻断的问题。该方法保持整个层次结构完全可微分，且具有非分散性，提升了长上下文建模能力。实验表明，在 75% 稀疏度下，DashAttention 的准确率与全注意力相当，在高稀疏场景下优于 NSA 和 InfLLMv2。其基于 Triton 的 GPU 实现推理速度甚至超过 FlashAttention-3。DashAttention 为长上下文模型提供了一种高效且经济的方案。

论文注意力机制长上下文稀疏注意力

推荐理由：长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。