09:26官方账号arXiv cs.AI@Qiankai Xu, Qiguang Chen, Zixin Su, Wenhao Huang, Yue Gao, Jiaheng Liu, Ge Zhang该方法将科学论文转换为多轮生成轨迹,教师模型重构整篇论文的写作过程。应用此方法于arXiv论文,获得约是源文本两倍的持续预训练语料库。实验表明,在公共数据集上进行监督微调后,该方法在保持推理能力的同时,提高了长文档阅读和写作基准。论文持续预训练科学论文多轮生成轨迹推荐理由:这篇论文提出了一种将科学论文转换为多轮生成轨迹的方法,对于持续预训练和学术写作基准具有重要意义,值得一读。原文稍后读已读值得跟进有用关注 持续预训练