这篇论文测了26种后验操作,结论是除了M1都没跑过最朴素的BoN。M1靠恢复被遗漏的正确代码,让DeepSeek-Coder-1.3B在HumanEval+上多解对12题,值得搞代码生成的同学看看。
针对参数不超过1.5B的冻结小代码模型,研究在无需微调下通过后验验证操作提升程序正确性的效果。在匹配计算量的泄密自由协议下,评估了26种语义后验算子(选择、验证、修复、消除等),均未能在HumanEval+和MBPP+上超越Best-of-N (BoN)的留出准确率。研究发现覆盖墙、能力剪刀差和空共识陷阱是根本原因。唯一带来精度提升的算子M1通过表达层恢复标准提取器丢弃的正确程序,使DeepSeek-Coder-1.3B在HumanEval+上多解+12题(p=2.4e-4),且零伤害。自适应共识早停(ACE)节省约19%计算量且无伤害。
针对参数不超过1.5B的冻结小代码模型,研究在无需微调下通过后验验证操作提升程序正确性的效果。在匹配计算量的泄密自由协议下,评估了26种语义后验算子(选择、验证、修复、消除等),均未能在HumanEval+和MBPP+上超越Best-of-N (BoN)的留出准确率。研究发现覆盖墙、能力剪刀差和空共识陷阱是根本原因。唯一带来精度提升的算子M1通过表达层恢复标准提取器丢弃的正确程序,使DeepSeek-Coder-1.3B在HumanEval+上多解+12题(p=2.4e-4),且零伤害。自适应共识早停(ACE)节省约19%计算量且无伤害。
Frozen small code models (<=1.5B parameters, run locally without fine-tuning) suit offline and privacy-constrained use, but often emit plausible-but-wrong programs. A natural remedy is a post-hoc operator that selects, v…