精选理由
这篇论文指出了线性注意力在图去噪上的根本局限，并提出 GCA 来补上短板。在 DiGress 上效果持平标准 Transformer 还省了结构特征计算，挺实用的。
本文提出 Graph Convolutional Attention (GCA)，一种利用输入图谱实现谱去噪的注意力机制。理论证明线性注意力在去噪任务中只能学习平均谱滤波器，而 GCA 通过图滤波查询和键可自适应处理谱多样性。在随机块模型上，GCA 与理想化的 Spectral Attention 机制性能匹配。在 DiGress 模型中，GCA 无需计算昂贵的结构特征即可达到标准图 Transformer 的效果，结合 PEARL 位置编码还能避免显式特征分解，加速推理。实验表明 GCA 在合成和真实数据集上持续提升去噪与扩散性能，增益与谱多样性正相关。
AI 翻译 · 中文
本文提出 Graph Convolutional Attention (GCA)，一种利用输入图谱实现谱去噪的注意力机制。理论证明线性注意力在去噪任务中只能学习平均谱滤波器，而 GCA 通过图滤波查询和键可自适应处理谱多样性。在随机块模型上，GCA 与理想化的 Spectral Attention 机制性能匹配。在 DiGress 模型中，GCA 无需计算昂贵的结构特征即可达到标准图 Transformer 的效果，结合 PEARL 位置编码还能避免显式特征分解，加速推理。实验表明 GCA 在合成和真实数据集上持续提升去噪与扩散性能，增益与谱多样性正相关。
Denoising graphs is a fundamental problem in graph learning and the core operation of graph diffusion models. Attention-based architectures like graph transformers have recently shown promise in denoising graphs. However…