10:35arXiv cs.LG@Alexandre BouayadWoFT(Weave of Formal Thought)提出一个形式化引擎和约束解码器,基于完整Tree-sitter规范实现语法验证的完备性。通过将GLR解析与推测性词法分析结合,解码器仅保留可扩展为有效程序前缀的子词标记。该方法还采用重加权睡眠(RWS)算法优化重要性加权证据下界(IW-ELBO),训练模型在生成中插入非终结符符号。在Python上对StarCoder2-3B进行微调后,每词元交叉熵相比文本SFT基线降低14.3%。论文WoFTStarCoder2Tree-sitter语法验证代码生成推荐理由:想写更少bug的代码?WoFT帮你模型边生成边检查语法,比普通微调少14%错误,而且学会了用语法树当草稿纸。原文