Papers13:25Chinese contentLECAT 框架揭示预训练数据如何影响 LLM 类别知识学习做预训练或数据清洗的人应该看:研究者从零训了 68M 小模型,证明语料里逐字重复的规则式句子反而让模型学不会灵活泛化,混合多种表达方式效果更好。对大模型也一样成立,能直接指导数据配比。#LECAT#pretraining data#LLMaarXiv cs.AI@Jimin Mun et al. (3)SourceRead laterReadWorth followingUsefulFollow LECAT