#可微分

Google出了个能在CPU上跑的3D头部模型gmn，所有表情都能调，还有在线demo直接玩，做虚拟人搞渲染都方便了。

berryxia@berryxia原文

长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。