11:37
官方账号arXiv cs.LG@Rishit Dagli, Abir Harrasse, Luke Zhang, Florent Draye, Amirali Abdullah, Bernhard Schölkopf, Zhijing Jin
精选
推荐理由：STRIDE 解决了 LLM 训练数据归因计算成本高、依赖局部近似的痛点，做模型可解释性、数据质量分析的团队可以直接用这个新框架。
稀疏恢复
共 1 条相关 AI 资讯
6月4日
11:37
训练数据归因（TDA）旨在追溯模型预测与训练数据的关系，但传统方法依赖梯度追踪，对大型语言模型（LLM）计算成本极高。STRIDE 提出新思路：不在参数空间估计变化，而是在激活空间建模训练数据的功能影响。它通过轻量级“转向算子”模拟数据子集训练带来的行为偏移，并利用稀疏恢复技术从这些算子中分解出单个训练样本的影响。该方法在 LLM 预训练归因上达到最先进水平，且速度比此前方法快 13 倍。实验还验证了其在数据选择、数据污染检测等下游任务中的实用价值。