Papers11:26
Chinese content研究提出用数据归因指导预训练数据筛选这篇论文把数据归因从"事后分析"变成"事前指导",思路很实在:归因发现的规律能跨语料复用,比一次性排序省钱。做预训练数据筛选的工程师可以直接拿五类证据框架当 checklist 用。
这篇论文把数据归因从"事后分析"变成"事前指导",思路很实在:归因发现的规律能跨语料复用,比一次性排序省钱。做预训练数据筛选的工程师可以直接拿五类证据框架当 checklist 用。
做数据筛选的人应该看看这篇:它实测了 MAGIC 这类影响函数在 86M 和 152M 模型上的表现,发现短 checkpoint 窗口的 LDS 能到 0.86 以上,但全程归因基本失效,数据块排序也不能跨 run 迁移。想用影响函数挑训练数据的团队,这篇能帮你避开明显的坑。
做数据归因或模型调试的朋友可以看看,它解释了为什么不同影响力估计方法排序对不上,还给出对齐行为规范的具体做法。