11:46
官方账号arXiv cs.LG@Przemyslaw Musialski
精选
推荐理由：这篇论文用群元素当token，不用那些复杂的学习核，参数还少50到80倍，做SE(2)、SO(3)和仿射群上的任务都更好，值得看看思路。
群论注意力
共 1 条相关 AI 资讯
6月19日
11:46
论文提出Lie-Algebra Attention，其中token被定义为矩阵李群G的元素gi，而非传统特征向量。注意力分数使用相对姿态的对数范数闭合形式sij = -‖log(gi^-1 gj)‖²/τ，无需学习核函数。该方法适用于非紧致非交换的仿射群Aff(2)，这是向量token方法无法达到的。在SE(2)、SO(3)和Aff(2)上的序列补全实验中，其参数比MLP核少50-80倍，且在SE(2)上性能更优，而向量token基线的不变性误差高达5-12个数量级。