论文精选
RSI训练中的信用分配问题
精选理由
AI训练中的基础问题研究，提出解决超大规模异步训练信用分配的新思路
研究人员提出解决超大规模异步训练中的原则性信用分配问题。当前反向传播方法在超大规模异步训练中存在局限性。需要比'backprop on stilts'更强大的方法来解决这个问题。这一突破对RSI(可能是某种AI训练方法)的发展具有重要意义。
原文 · Teortaxes
Incidentally, I think one of the more elementary but "foomy" breakthroughs in the course of RSI, in the spirit of @hamandcheese, will be solving principled credit assignment for ultra-large and async training. We'll need something stronger than backprop on stilts. https://t.co/hz5BQbymUS
