训练模型烧电,能量效率能不能预测?这篇论文用 modular arithmetic 和 MNIST 实测后发现:即便模型出现 grokking 式的延迟泛化,能耗效率曲线照样平滑下降。做训练成本估算、能耗优化的工程和研究人员可以看看他们的实验设计。
#neural networks
做分子模拟或 SDE 相关研究的朋友可以看看这篇 arXiv 论文:KC-Maps 不用跑长轨迹数据,直接学转移核,一次前向传播替代数百万步积分,在肽分子系统上比经典分子动力学省 GPU 时。
ConDR 修了 DeepReach 会把危险状态漏判成安全的毛病,在 Air3D、四旋翼这些基准上碰撞率最低,做安全控制可以看看。
天体物理里的引力波信噪比计算向来很费算力,这篇用一个小模型把百万次评估压缩到几秒,做引力波种群研究的人可以直接拿来用。
索尼的专利挺有意思:AI 不等 GPU 渲染完就预测下一帧,比传统帧生成少等一帧,玩游戏卡顿可能会更少。
论文解决了一个很实际的问题:检测器升级后旧水印失效、误报飙升。用 legacy chain 加 ADL 损失来修复,方法挺清晰。
OpenAI 前研究员 roon 发推聊可解释性,说基础突破反而来自公司外部,OpenAI 也在其中,观点挺扎心。
React 前核心成员写了套函数库,把 if-else 手写成网络权重,零训练跑出精确结果,还有三个能在浏览器玩的 demo,思路很特别。
讨论了生物合理反向传播的论文,说近似 SGD 的机制可以自己涌现出来,不用硬编码,概念挺有意思的。
LeCun 讲了段往事:1986 年他带着多层网络海报去 MIT,Minsky 见过他。喜欢深度学习历史的可以看看。
Gary Marcus 发火吐槽了,说很多人分不清神经网络自己解题和符号系统验证答案的区别,想聊 AI 能力边界可以看看。
一篇把 KSVD 推广到多数据源的理论论文,还用神经网络做显式特征映射,做核方法或特征学习方向的可以看看推导。
arXiv 上新出的 Purin 机制,给 AlexNet、VGG11 这些老 CNN 加了突触效能调制,三个模型准确率都涨了,搞 CV 的可以看看。
一篇很脑洞的论文:权重不存了,用 24 字节种子加复二次映射现场算出来,Two-Moons 上拿到 77.67% 准确率,思路挺新鲜。
This research provides a theoretical foundation and a practical method for approximating Lyapunov functions, which are crucial for stability analysis in control theory and robotics.
This paper provides a practical guideline for improving the efficiency of neural network training by matching the timescale of evolutionary operators to the evaluation budget.
This paper presents a practical method for using neural networks to analyze plasma physics data, which could be valuable for researchers in the field of fusion energy.
For anyone working with AI and CAD, this paper provides a new method to make neural networks more robust to variations in 3D model data.
This research provides unprecedented insight into transformer mechanics, helping developers optimize models and understand component importance for more efficient AI systems.
The research provides a precise mathematical framework for controlling training dynamics in deep learning models used across ASEAN's growing AI industry.
The research bridges traditional symbolic AI with modern neural networks, offering new interpretability methods for developers working with LLMs in ASEAN tech sectors.
The survey provides practical guidance for selecting optimizers based on specific training conditions, helping developers optimize performance for different model scales and computational constraints.
The method removes practical restrictions for applying neural operators to real-world scientific problems with complex geometries and boundary conditions.
这篇论文提出了一个名为ICON分解的新方法,用于更准确地评估深度神经网络中各个概念的重要性,对于模型审计和可解释性研究具有重要意义。与现有的基线方法相比,它能够提供更可靠的解释,对于理解模型的决策过程非常有帮助。
This research addresses a critical challenge in aortic surgery and autonomous endovascular navigation by improving prediction accuracy with limited training data.
QUASAR结合了量子计算和经典机器学习,在SAR卫星物理层认证方面取得了显著成果,比传统方法更高效,值得一看。
这篇论文给DGM和PINN的用户吃了定心丸:对于一类半线性PDE,梯度下降训练真的能收敛到正确解,不是只找到局部最优。