AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：HumanEval+×
6月16日
20:46
12:06
12:06arXiv: DeepSeek@Mehmet Iscan
针对参数不超过1.5B的冻结小代码模型，研究在无需微调下通过后验验证操作提升程序正确性的效果。在匹配计算量的泄密自由协议下，评估了26种语义后验算子（选择、验证、修复、消除等），均未能在HumanEval+和MBPP+上超越Best-of-N (BoN)的留出准确率。研究发现覆盖墙、能力剪刀差和空共识陷阱是根本原因。唯一带来精度提升的算子M1通过表达层恢复标准提取器丢弃的正确程序，使DeepSeek-Coder-1.3B在HumanEval+上多解+12题（p=2.4e-4），且零伤害。自适应共识早停（ACE）节省约19%计算量且无伤害。
论文DeepSeek-CoderHumanEval+MBPP+小代码模型后验验证
推荐理由：这篇论文测了26种后验操作，结论是除了M1都没跑过最朴素的BoN。M1靠恢复被遗漏的正确代码，让DeepSeek-Coder-1.3B在HumanEval+上多解对12题，值得搞代码生成的同学看看。
原文
6月12日
12:57
6月11日
15:28
15:23
15:07