12:03
官方账号arXiv cs.LG@Hang Zhang, Warren J. Gross
推荐理由：想省训练成本又想模型推理更强？PPL-Factory用10%数据在MATH上比全量微调高4.8，门槛低、效果还更炸。
数据选择
共 4 条相关 AI 资讯
7月21日
12:03
PPL-Factory提出了基于困惑度（perplexity）的任务感知和预算感知数据选择框架，用于大语言模型微调。在GSM8K上仅用1%训练数据即超越现有最佳方法；用10%数据在GSM8K上超过全量微调0.9个点，在MATH上超出4.8个点。该方法通过区分语言建模与推理任务的不同学习目标，实现高效且可解释的数据筛选。
7月3日
11:30
11:30
官方账号arXiv cs.AI@Zhuowei Chen, Xiang Lorraine Li
推荐理由：Neuron-OPSD用神经元信号挑训练数据，让大模型自己教自己，不用人工标注，效果还更稳。
6月23日
12:53
12:53
官方账号arXiv cs.LG@Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville
推荐理由：这篇论文教你怎么自动筛选高质量训练数据，用CLIP自己迭代过滤，效果比手动搞还好，还不用额外数据。
5月15日
10:01
10:01
官方账号arXiv cs.AI@Suorong Yang, Hanqi Zhu, Hai Gan, Fangjian Su, Guang Li, Furao Shen, Soujanya Poria
精选
推荐理由：PODS解决了数据选择中“选多少”被忽视的问题，做模型训练优化的团队可以直接集成到现有方法中，无需改动评分指标，值得一试。