#HumanEval+

共 3 条 · 7 天 0 条 · 30 天 0 条

代码生成 2 GPT-4o 1 LLM 1 Phi-3.5-mini 1 Qwen2.5-3B-Instruct 1 提示工程 1 提示词工程 1

信息流里打上「HumanEval+」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月4日

论文精选73°11:10

LLM代码生成中的复合提示约束研究

OpenAI等模型在复合提示下表现差异大，JSON+专家角色+中等紧急程度组合导致GPT-4o-mini性能下降12.2个百分点。

#LLM #代码生成 #提示工程 #HumanEval+

arXiv: OpenAI@Shrenik Jadhav 等 6 人原文

9月2日

论文 Agent 与开发者09:39

代码生成中提示词的作用评估

这篇论文揭示了代码生成模型中提示词的实际作用，告诉你哪些提示真正有效，哪些只是表面功夫。

#Qwen2.5-3B-Instruct #Phi-3.5-mini #代码生成 #提示词工程

arXiv cs.AI@Will Badr原文

6月16日

无信号选择与表达恢复：冻结小代码模型后验验证算子测量研究

这篇论文测了26种后验操作，结论是除了M1都没跑过最朴素的BoN。M1靠恢复被遗漏的正确代码，让DeepSeek-Coder-1.3B在HumanEval+上多解对12题，值得搞代码生成的同学看看。

#DeepSeek-Coder #HumanEval+#MBPP+#小代码模型

arXiv: DeepSeek@Mehmet Iscan原文