精选理由
做代码文档对齐或规格说明自动化的团队，可以拿这个方法直接改进现有流程——它用 LLM 和静态分析结合，能快速发现并修复规格与代码的不一致，迭代效率很高。
研究人员提出了一种名为 fidelity probes 的方法，通过从代码中生成带真实答案的自然语言问题，来评估候选规格说明与代码的一致性。该方法将一致性分数分解为矛盾率和覆盖缺口率，从而指导规格说明的迭代改进。在包含约 12,000 行 COBOL 代码的基准测试中，经过八次迭代，规格说明的一致性从 0.63 提升至 0.94，且收敛点可通过两态马尔可夫固定点预测。探针可由 LLM 或静态分析管道生成，两者互补。该方法适用于任何应描述相同行为的成对工件。
AI 翻译 · 中文
研究人员提出了一种名为 fidelity probes 的方法，通过从代码中生成带真实答案的自然语言问题，来评估候选规格说明与代码的一致性。该方法将一致性分数分解为矛盾率和覆盖缺口率，从而指导规格说明的迭代改进。在包含约 12,000 行 COBOL 代码的基准测试中，经过八次迭代，规格说明的一致性从 0.63 提升至 0.94，且收敛点可通过两态马尔可夫固定点预测。探针可由 LLM 或静态分析管道生成，两者互补。该方法适用于任何应描述相同行为的成对工件。
We introduce fidelity probes: natural-language questions generated from a reference artifact with code-derived ground-truth answers, answered from a candidate specification. The fraction of agreeing probes, which we call…