谱方法相关 AI 资讯 · AI 热点

7月8日

11:56

11:56

官方账号arXiv cs.LG@Shervin Khalafi, Igor Krawczuk, Sergio Rozada, Charilaos Kanatsoulis, Antonio G Marques, Alejandro Ribeiro

本文提出 Graph Convolutional Attention (GCA)，一种利用输入图谱实现谱去噪的注意力机制。理论证明线性注意力在去噪任务中只能学习平均谱滤波器，而 GCA 通过图滤波查询和键可自适应处理谱多样性。在随机块模型上，GCA 与理想化的 Spectral Attention 机制性能匹配。在 DiGress 模型中，GCA 无需计算昂贵的结构特征即可达到标准图 Transformer 的效果，结合 PEARL 位置编码还能避免显式特征分解，加速推理。实验表明 GCA 在合成和真实数据集上持续提升去噪与扩散性能，增益与谱多样性正相关。

论文 GCA Graph Convolutional Attention DiGress PEARL 图去噪扩散模型谱方法

推荐理由：这篇论文指出了线性注意力在图去噪上的根本局限，并提出 GCA 来补上短板。在 DiGress 上效果持平标准 Transformer 还省了结构特征计算，挺实用的。

6月17日

11:35

11:35

官方账号arXiv cs.LG@Gbenga T. Awojinrin, Abdul-Akeem Olawoyin, Rami M. Younis

精选

该论文提出LiL-Q方法，通过Bellman-Kalaba拟线性化将非线性PDE转化为一系列线性子问题，每个子问题用线性可学习表示（LiL）离散化并直接通过QR分解求解。LiL表示包括随机特征极限学习机、谱多项式基和三角展开，实现为物理信息神经网络（PINNs）。在7个基准测试（Bratu、粘性Burgers、Buckley-Leverett、平面应变弹性、2D/3D不可压缩Navier-Stokes、异质渗透率Darcy流）上，LiL-Q通常在个位数外部迭代内收敛，参数数量比现有PINN求解器少两个数量级时仍能达到或超越其精度。当精确解在试验空间内时，单次求解即可恢复至机器精度。

AI模型 LiL-Q PINNs 非线性PDE 凸优化谱方法

推荐理由：这个新方法LiL-Q用凸优化替代了PINNs的非凸训练，收敛快、参数少，在Navier-Stokes等难题上效果拔群，值得关注。