精选理由
做AI规划或程序合成的团队，这篇论文提供了一种减少LLM调用次数、提升生成效率的实用方法——用形式化属性替代分数反馈，直接给反例引导修复，值得点开看看具体实现。
本文提出一种属性引导的LLM程序合成方法，用于PDDL规划领域。传统方法依赖简单分数（如测试通过数）评估程序，缺乏失败原因反馈，导致大量无效生成和评估。新方法在程序违反形式化属性时立即停止评估，并返回具体反例，引导LLM修复。在10个规划域上的实验表明，该方法平均每个域生成程序数减少7倍，无需搜索即可解决更多任务，评估计算量降低数个数量级。该方法适用于任何存在可验证属性的问题，能显著降低成本并提升程序质量。
AI 翻译 · 中文
本文提出一种属性引导的LLM程序合成方法，用于PDDL规划领域。传统方法依赖简单分数（如测试通过数）评估程序，缺乏失败原因反馈，导致大量无效生成和评估。新方法在程序违反形式化属性时立即停止评估，并返回具体反例，引导LLM修复。在10个规划域上的实验表明，该方法平均每个域生成程序数减少7倍，无需搜索即可解决更多任务，评估计算量降低数个数量级。该方法适用于任何存在可验证属性的问题，能显著降低成本并提升程序质量。
LLMs have shown impressive success in program synthesis, discovering programs that surpass prior solutions. However, these approaches rely on simple numeric scores to signal program quality, such as the value of the solu…