AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：稀疏恢复×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月4日
11:37
11:37arXiv cs.LG@Rishit Dagli, Abir Harrasse, Luke Zhang, Florent Draye, Amirali Abdullah, Bernhard Schölkopf, Zhijing Jin
精选
训练数据归因（TDA）旨在追溯模型预测与训练数据的关系，但传统方法依赖梯度追踪，对大型语言模型（LLM）计算成本极高。STRIDE 提出新思路：不在参数空间估计变化，而是在激活空间建模训练数据的功能影响。它通过轻量级“转向算子”模拟数据子集训练带来的行为偏移，并利用稀疏恢复技术从这些算子中分解出单个训练样本的影响。该方法在 LLM 预训练归因上达到最先进水平，且速度比此前方法快 13 倍。实验还验证了其在数据选择、数据污染检测等下游任务中的实用价值。
论文训练数据归因LLM稀疏恢复激活空间转向算子
推荐理由：STRIDE 解决了 LLM 训练数据归因计算成本高、依赖局部近似的痛点，做模型可解释性、数据质量分析的团队可以直接用这个新框架。
原文