09:35arXiv: DeepSeek@Shi Chen, Rongcun Wang, Yuan Tian, Xiaoyuan Xie, Wei Song, Rubing Huang该论文提出了SolidityBench,包含5,470个存储库级Solidity智能合约及其自然语言描述。同时提出SolidityScore,一种关注安全性修饰符、合约声明等域关键结构的语义度量。研究评估了Qwen2.5-Coder、DeepSeek-Coder和CodeLlama等模型在零样本、思维链、上下文学习、检索增强生成和监督微调五种方法上的表现。结果显示,通用模型在存储库级Solidity生成中存在结构性缺陷;在非参数方法中,检索增强生成效果最佳,而上下文学习在超过两个示例后因上下文饱和而性能下降;监督微调通过将Solidity特定约束内化到模型参数中实现了最大改进。论文SoliditySolidityBenchSolidityScoreQwen2.5-CoderDeepSeek-CoderCodeLlama智能合约代码生成推荐理由:这篇论文为Solidity智能合约代码生成建了个新基准(5470个合约)和专用评分指标,测试了多个主流代码模型的各种方法,结论明确:靠谱的领域数据+微调最管用。原文
12:06arXiv: DeepSeek@Mehmet Iscan针对参数不超过1.5B的冻结小代码模型,研究在无需微调下通过后验验证操作提升程序正确性的效果。在匹配计算量的泄密自由协议下,评估了26种语义后验算子(选择、验证、修复、消除等),均未能在HumanEval+和MBPP+上超越Best-of-N (BoN)的留出准确率。研究发现覆盖墙、能力剪刀差和空共识陷阱是根本原因。唯一带来精度提升的算子M1通过表达层恢复标准提取器丢弃的正确程序,使DeepSeek-Coder-1.3B在HumanEval+上多解+12题(p=2.4e-4),且零伤害。自适应共识早停(ACE)节省约19%计算量且无伤害。论文DeepSeek-CoderHumanEval+MBPP+小代码模型后验验证推荐理由:这篇论文测了26种后验操作,结论是除了M1都没跑过最朴素的BoN。M1靠恢复被遗漏的正确代码,让DeepSeek-Coder-1.3B在HumanEval+上多解对12题,值得搞代码生成的同学看看。原文