11:31官方账号arXiv cs.LG@Quang Bui, Sparsh Roy, Akash Gundimeda, Davin Yin该论文研究了基于扩散模型的提议在连续代数约束求解中的有效性。在候选条件修复排序中,K个增强选项的排名器以少量调用达到穷举搜索上限:平衡非线性菜单准确率0.997 vs 0.236(p<10^-70),多种子平均0.982±0.006。提出的MARC系统将约束转化为因子图,用图神经扩散去噪器提出赋值,再通过精确计算机代数能量下降优化并由符号检查器验证。与随机多起点相比,学习式提议只在高维空间明显胜出(低维持平,变量耦合时优势消失)。在八个真实系统(机器人、定位、优化、代数)中,经典随机多起点全部求解,无一处于学习有利区间。论文MARC扩散模型约束求解推荐理由:这篇论文用严格的对照实验告诉你:扩散模型在约束求解里什么时候有用、什么时候没用,结果很反直觉——真实系统里随机多起点反而全赢了。做AI for science和优化的人值得看看。原文稍后读已读值得跟进有用关注 MARC
09:39官方账号arXiv cs.LG@Irina Piontkovskaia, Sergey Nikolenko精选该研究探讨了预训练模型中的线性结构是否真实存在及其尺度。通过合成多任务Transformer和LoRA适配器实验,发现任务梯度具有强局部低秩结构,但静态基无法捕捉恢复方向,有用基在100步内显著漂移。首次恢复更新形成的轨迹前缀基可捕获77%的LoRA恢复位移。研究还提出高斯局部线性定理,解释了高维随机参数搜索的有效性,并发现单步梯度产生的激活偏移与CAA导向向量余弦相似度为0.58。结果表明,线性结构并非全局任务方向,而是部分跨参数和激活空间演化的局部几何。论文线性结构LoRA任务向量推荐理由:做模型微调或可解释性研究的团队会感兴趣——它揭示了LoRA和激活导向的线性假设为何局部成立但全局不成立,建议在调试任务向量时参考其轨迹前缀基方法。原文稍后读已读值得跟进有用关注 线性结构