精选理由
想优化训练数据配比？这篇论文把数据混合当作因果推断，思路很新，实测有效。
研究人员提出CausalMix框架，将语言模型训练中的数据混合问题建模为因果推断任务。该方法通过识别不同数据来源对模型性能的因果效应，动态优化训练数据配比。实验表明CausalMix在多个基准上提升了模型效果，同时降低了数据冗余。该工作发表于学术论文，提供了公开代码以供复现。
原文 · AK
CausalMix Data Mixture as Causal Inference for Language Model Training
CausalMix Data Mixture as Causal Inference for Language Model Training 💬 1 🔄 1 ❤️ 3 👀 1437 📊 2 ⚡