transformer 相关 AI 资讯 · AI 热点

8月5日

09:37

09:37

官方账号arXiv cs.LG@Abdallah Khemais

精选

论文在残差流模型F(x)=F0(x)+Σαi(x)vi中推导出激活修补与权重消融一致的精确条件。对单块注意力头，删除载体子集使匹配输入坍缩到相同输出的充要条件是对称移除且无外部对比。注意力头与其层归一化及MLP组合的交互公式一阶精确，二阶余项在仅消融MLP时恒为零。三十九种消融配置下，测量交互与理想模型预测准确率的Spearman相关系数为-0.83。第二任务与架构复现相同模式，并出现极性反转。

论文 transformer 激活修补权重消融

推荐理由：论文把激活修补和权重消融的一致性讲透了，用39种配置验证，Spearman -0.83，值得搞可解释性的人看看。

7月1日

10:15

10:15

官方账号arXiv cs.AI@Peng Li, Rawal Khirodkar, Junxuan Li, Yuan Dong, Chen Cao, Yuan Liu, Wenhan Luo, Yike Guo, Shunsuke Saito

LUNA 提出了一种无 LBS 的通用神经动画模型，直接从2D输入（图像、关键点、草图）预测3D高斯变形，无需显式人体拟合。其核心是一个基于 transformer 的运动回归器，分离全局刚体运动与局部非刚性细节。通过混合监督策略，模型从 LBS 教师蒸馏结构先验，并利用大量无标签视频数据进行训练。实验表明，LUNA 在视觉保真度上媲美 LBS 方法，同时实现零样本跨身份泛化，支持多种驱动模态。该工作是首个端到端支持隐式2D驱动的3D可动画化模型。

AI模型 LUNA 3D人体动画神经渲染

推荐理由：LUNA 不用传统的 LBS 蒙皮，直接用图片或关键点驱动3D角色，效果真实还能自动适配新角色，动画师和研究者可以试试。