#数据选择

共 8 条 · 7 天 3 条 · 30 天 3 条

微调 2 DeepSeek-R1-Distill-Qwen-1.5B 1 GRACE 1 LLM 1 LLM智能体 1 PPL-Factory 1 Qwen2.5-Math-1.5B 1 RISED 1

信息流里打上「数据选择」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月7日

论文 Agent 与开发者官方一手精选10:30

Apple 提出 RISED：基于 rubric 的多环境智能体训练数据选择方法

Apple 的论文，讲怎么在多个交互环境里同时训练一个 LLM 智能体，用 rubric 评分挑数据，全对全错的样本也能靠自蒸馏利用起来。

#RISED #LLM智能体 #自蒸馏 #数据选择

官方一手Apple ML Research原文

10月6日

论文 Agent 与开发者10:30

研究：RL 后训练哪些题会变好，旧 checkpoint 比先验信号预测更准

arXiv 上这篇挺有意思：想知道 RL 训练后哪些题能解出来，用别的模型训过的 checkpoint 预测，比一堆先验指标都准。

#DeepSeek-R1-Distill-Qwen-1.5B #Qwen2.5-Math-1.5B #强化学习 #后训练

arXiv: DeepSeek@Xiaoxian Duan原文

10月5日

论文19:34

LESSER：用输出层梯度做后训练数据选择，成本降低最多9.7倍

做微调的朋友可以看看：LESSER 只用输出层梯度就能做数据选择，SFT 成本砍到近十分之一，效果不掉，还提供了 drop-in 接口。

#数据选择 #微调 #SFT #RLHF

arXiv cs.LG@Lyuxin David Zhang 等 4 人原文

8月31日

论文09:06

GRACE：梯度引导的LLM遗忘集选择方法

GRACE解决了LLM遗忘中遗忘集和保留集推断问题，通过梯度引导方法提升模型效用，比现有梯度选择方法更稳定。

#GRACE #LLM #机器遗忘 #梯度引导

arXiv cs.LG@Praveen Bushipaka 等 4 人原文

7月21日

论文12:03

PPL-Factory：任务感知与预算感知的数据选择方法

想省训练成本又想模型推理更强？PPL-Factory用10%数据在MATH上比全量微调高4.8，门槛低、效果还更炸。

#PPL-Factory #数据选择 #微调 #推理模型

arXiv cs.LG@Hang Zhang, Warren J. Gross原文

7月3日

论文11:30

Neuron-OPSD：无标注大模型自蒸馏的神经元感知数据选择

Neuron-OPSD用神经元信号挑训练数据，让大模型自己教自己，不用人工标注，效果还更稳。

#Neuron-OPSD #自蒸馏 #无标注学习 #数据选择

arXiv cs.AI@Zhuowei Chen, Xiang Lorraine Li原文

6月23日

论文12:53

迭代自过滤数据选择方法用于视觉语言模型训练

这篇论文教你怎么自动筛选高质量训练数据，用CLIP自己迭代过滤，效果比手动搞还好，还不用额外数据。

#CLIP #数据选择 #自过滤 #视觉语言模型

arXiv cs.LG@Andrei Liviu Nicolicioiu 等 4 人原文

5月15日

论文精选10:01

PODS：振荡式数据量调度，让模型训练更高效

PODS解决了数据选择中“选多少”被忽视的问题，做模型训练优化的团队可以直接集成到现有方法中，无需改动评分指标，值得一试。

#数据选择 #训练效率 #正则化 #即插即用

arXiv cs.AI@Suorong Yang 等 7 人原文