11:05
官方账号arXiv cs.AI@Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen
精选
推荐理由：想知道你用的模型到底吃了什么数据？LLMSurgeon 让数据审计变得可行，做模型安全、数据治理或开源复现的团队值得关注。
LLMSurgeon
共 1 条相关 AI 资讯
5月29日
11:05
大语言模型的预训练数据混合比例决定了其能力与缺陷，但这一信息极少公开。LLMSurgeon 提出“数据混合手术”框架，仅通过模型生成的文本就能逆向估计其预训练语料的领域分布。该方法利用校准后的软混淆矩阵解决领域混淆问题，在开源模型上验证了高精度。这为审计基础模型的数据构成提供了无需访问训练数据的实用后验方案。