#data selection
一篇教你离线 RLVR 该挑哪些回答、哪些 token 来训的论文,在 Qwen3-0.6B 的 GSM8K 上比七个基线都强,还省了三分之二的监督 token。
一篇训练提效的论文:训练时只挑一半样本做反向传播,还比全量数据快1.2倍,比AdaSelection高1-2个点,做CV训练的可以看看
Curriculum and data-selection strategies for agent training usually allocate at the environment level and ignore cross-environment relationships between rollouts. RISED offers a concrete alternative by combining rubric-based multi-environment selection with self-distillation, which practitioners can reuse when batches contain degenerate rollout groups. Researchers building generalist agents and RL training pipelines are the primary audience.
arXiv 上这篇挺有意思:想知道 RL 训练后哪些题能解出来,用别的模型训过的 checkpoint 预测,比一堆先验指标都准。
做微调的朋友可以看看:LESSER 只用输出层梯度就能做数据选择,SFT 成本砍到近十分之一,效果不掉,还提供了 drop-in 接口。
GRACE解决了LLM遗忘中遗忘集和保留集推断问题,通过梯度引导方法提升模型效用,比现有梯度选择方法更稳定。
想省训练成本又想模型推理更强?PPL-Factory用10%数据在MATH上比全量微调高4.8,门槛低、效果还更炸。
Neuron-OPSD用神经元信号挑训练数据,让大模型自己教自己,不用人工标注,效果还更稳。