arXiv cs.LG@Thien Le, Melanie Weber精选37本文研究了在组合优化任务中,如何将大型模型的知识蒸馏到更小、更高效的模型。作者假设目标模型是图神经网络,其架构与任务的动态规划算法对齐。基于决策树蒸馏的最新理论分析,论文证明了当源模型足够丰富(通过线性表示假设形式化)时,蒸馏问题可以在动态规划转移函数的复杂度参数内高效解决。该工作为算法对齐框架下的成功蒸馏提供了严格充分条件。论文蒸馏组合优化图神经网络算法对齐动态规划推荐理由:组合优化任务通常依赖大型模型,但部署成本高。本文给出了理论保证,让做图神经网络和算法对齐的开发者知道何时可以安全地蒸馏到小模型,值得关注。
arXiv cs.AI@Franco Terranova, Guillermo Bernardez, Albert Cabellos-Aparicio, Nina Miolane, Abdelkader Lahmadi精选58图组合优化(GCO)问题因NP难特性而难以精确求解,现有基于强化学习(RL)和图神经网络(GNN)的方法在泛化性和计算可扩展性上存在局限。本文提出Projection Agents,直接在连续GNN动作嵌入空间中预测潜在动作,并通过单次前向传播解码为有效离散动作,避免了传统逐步搜索的开销。该方法在多个基准上实现最高16.2倍推理加速和40%更好的泛化性能,尤其适用于超线性决策空间。同时,作者开源了LaGCO-RL库,支持自动构建潜在动作空间并兼容现有RL-GCO方案,便于复现和适配新问题。论文图组合优化强化学习图神经网络潜在动作空间开源/仓库推荐理由:做图组合优化或RL求解NP-hard问题的研究者,这篇论文解决了泛化差和扩展性瓶颈,16倍加速和40%泛化提升值得一试,开源库还能直接复用。
arXiv cs.AI@Michael Aichmüller, Simon Ståhlberg, Martin Funkquist, Hector Geffner精选58该研究针对经典规划中的通用策略学习问题,改进了迭代宽度(IW)策略。现有IW方法在评估每个转移时计算成本高且表达能力有限,尤其在对象数量大时效率低下。作者提出两种改进:一是对整个搜索树进行高效整体编码,仅通过状态间的关系差异表示IW(1)可达状态,使关系图神经网络(R-GNN)能单次前向传播评分所有转移;二是定义抽象IW(1),通过类型抽象原子进行新颖性检查,将缩放从原子数转向对象数。在IPC 2023基准测试和多个领域上,新方法达到了最先进性能,显著超越包括经典规划器LAMA在内的先前工作。论文经典规划图神经网络迭代宽度抽象化通用策略学习推荐理由:经典规划研究者终于有了可扩展的通用策略学习方法——新方法解决了IW策略在大规模问题上的计算瓶颈,做AI规划或强化学习的团队可以直接参考其编码思路。
arXiv cs.AI@Luu Huu Phuc, Ratan Bahadur Thapa, Mojtaba Nayyeri, Jingcheng Wu, Evgeny Kharlamov, Steffen Staab精选58本文提出GA-S2S框架,将T5-small编码器-解码器与关系图注意力网络(RGAT)结合,用于知识图谱链接预测。现有Seq2Seq模型仅依赖实体和关系的文本描述,最多将查询实体的邻域展平为线性序列,丢失了图结构信息。GA-S2S同时编码文本特征和查询实体周围的完整k跳子图拓扑,通过融合原始编码器输出与RGAT的关系感知嵌入,捕获更丰富的多跳关系模式和文本信息。在CoDEx数据集上的初步实验表明,GA-S2S相比竞争性的Seq2Seq基线模型,链接预测准确率最高提升19%。论文知识图谱链接预测图神经网络Seq2SeqT5推荐理由:做知识图谱推理或链接预测的团队,GA-S2S用图结构补上了Seq2Seq模型的盲区,效果提升明显,值得在CoDEx等数据集上复现试试。
arXiv cs.LG@Abhijatmedhi Chotrattanapituk, Ryotaro Okabe, Eunbi Rha, Mariya Al-Hinai, Eugene Jiang, Daniel Pajerowski, Yongqiang Cheng, Joshua J. Turner, Mingda Li精选63研究人员提出了磁性结构网络(MSN),这是一种E(3)等变图神经网络,能够直接从原子晶体结构预测共线和非共线磁性结构。该模型基于MAGNDATA实验数据训练,并引入原始调制结构表示(PMSR),统一编码了共度和非共度磁性结构,无需对称性假设。MSN在所有调制分量上表现优异,能够高保真地重建实验磁性结构。该方法为快速磁性结构预测提供了可扩展框架,有望推动数据驱动的磁性材料发现。论文磁性结构预测图神经网络E(3)等变MAGNDATA材料发现推荐理由:磁性结构预测长期依赖昂贵实验或复杂第一性原理计算,MSN用图神经网络直接预测,精度接近实验,做磁性材料或凝聚态物理的团队值得关注,可以大幅加速筛选流程。