#Orthograd

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "Orthograd", newest first.
Nov 16
Chinese contentarXiv 研究:grokking 现象不会改变神经网络训练能效曲线

训练模型烧电,能量效率能不能预测?这篇论文用 modular arithmetic 和 MNIST 实测后发现:即便模型出现 grokking 式的延迟泛化,能耗效率曲线照样平滑下降。做训练成本估算、能耗优化的工程和研究人员可以看看他们的实验设计。

arXiv cs.LG@Eduardo Cueto-Mendoza, John D. KelleherSource