Chinese content研究验证 MAGIC 轨迹数据归因在模型能力习得阶段的有效边界
做数据筛选的人应该看看这篇:它实测了 MAGIC 这类影响函数在 86M 和 152M 模型上的表现,发现短 checkpoint 窗口的 LDS 能到 0.86 以上,但全程归因基本失效,数据块排序也不能跨 run 迁移。想用影响函数挑训练数据的团队,这篇能帮你避开明显的坑。
做数据筛选的人应该看看这篇:它实测了 MAGIC 这类影响函数在 86M 和 152M 模型上的表现,发现短 checkpoint 窗口的 LDS 能到 0.86 以上,但全程归因基本失效,数据块排序也不能跨 run 迁移。想用影响函数挑训练数据的团队,这篇能帮你避开明显的坑。
做剪枝的可以看看:CACTUS 比 LLM-Surgeon 快 28 倍,还能保留影响函数做数据选择。
做数据归因或模型调试的朋友可以看看,它解释了为什么不同影响力估计方法排序对不上,还给出对齐行为规范的具体做法。
Rewriting identified training examples produces stronger behavioral changes than reweighting, offering more effective intervention methods for AI safety and alignment.
做隐私审计或差分隐私研究的团队,这篇论文直接解决了单次运行审计中金丝雀干扰的痛点,提出的方法计算效率高且效果更好,值得点开看具体实现。