#Natural Ungrokking

共 1 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「Natural Ungrokking」标签的资讯、产品与论文，按刊登时间排，新的在上。

6月25日

自然 Ungrokking：预训练中哪些规则存留的不对称控制

这篇论文发现了模型训练中规则自然遗忘的规律，并且能预测和控制——破坏容易恢复难，对理解LLM行为很有启发。

#Natural Ungrokking #Pythia #预训练 #规则学习

arXiv cs.LG@Juliana Li, Diya Sreedhar原文