11:33
官方账号arXiv cs.LG@Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel
推荐理由：想搞懂模型知识边界怎么控制？这篇论文用小学课程语料训练了个5B模型，还公开了数据和模型，适合研究预训练数据影响的人看。
LITTLECURRICULUM
共 1 条相关 AI 资讯
8月14日
11:33
研究者推出LITTLECURRICULUM，一个包含880亿token的预训练语料库，内容限定为美国小学五年级以下的知识范围。他们用该语料从头训练出5B参数的LittleLearner模型，模型语言能力足以进行开放式评测，但知识边界清晰对应课程大纲。实验表明，通过后训练和上下文学习注入新知识，LittleLearner能更好利用已有知识，但无法提升超出课程范围的能力。该研究为可控条件下研究模型知识获取提供了沙盒环境。