8月27日
09:26
09:26官方账号arXiv cs.AI@Qiankai Xu, Qiguang Chen, Zixin Su, Wenhao Huang, Yue Gao, Jiaheng Liu, Ge Zhang
该方法将科学论文转换为多轮生成轨迹,教师模型重构整篇论文的写作过程。应用此方法于arXiv论文,获得约是源文本两倍的持续预训练语料库。实验表明,在公共数据集上进行监督微调后,该方法在保持推理能力的同时,提高了长文档阅读和写作基准。
推荐理由:这篇论文提出了一种将科学论文转换为多轮生成轨迹的方法,对于持续预训练和学术写作基准具有重要意义,值得一读。