08:44AK@_akhaliq研究人员提出CausalMix框架,将语言模型训练中的数据混合问题建模为因果推断任务。该方法通过识别不同数据来源对模型性能的因果效应,动态优化训练数据配比。实验表明CausalMix在多个基准上提升了模型效果,同时降低了数据冗余。该工作发表于学术论文,提供了公开代码以供复现。论文CausalMix数据混合因果推断训练方法推荐理由:想优化训练数据配比?这篇论文把数据混合当作因果推断,思路很新,实测有效。原文