09:08
官方账号arXiv cs.LG@Gunner Levi Howe
推荐理由：这篇论文搞清了Grokking延迟的可控关键：用无标签特征族先验就能加速17倍，而且只在训练早期用一小会儿就够，比你想的简单实用。
表征先验
共 1 条相关 AI 资讯
7月15日
09:08
该论文通过188次新实验研究了表征先验在Grokking中的作用。错误特征族（幅度带）像随机划分一样阻止泛化（1/15 vs 0/20 grok，p=0.43）。完全无标签的不变性先验（仅交换对）在15/15次运行中泛化，中位加速2.7倍，且比标签监督先验更可靠（p=0.038）。早期窗口（前2000个epoch，占4%预算）即可实现10/10泛化及2.7倍加速，优于连续应用（8/10，1.25倍）和后期窗口（2.1倍）。结合权重范数钳制的先验达到中位17倍加速（5/5），而普通交叉熵仅在精确临界范数下才匹配此速度。