11:22
官方一手arXiv: DeepSeek@Saima Afrin, Alessandro Midolo, Camilo Escobar-Velásquez, Mario Linares-Vásquez, Weiyuan Ding, Bowen Xu, Massimiliano Di Penta, Antonio Mastropaolo
推荐理由：想了解提示语言怎么影响代码生成质量？这篇实测了GPT-4o mini、DeepSeek和Claude在多种语言下的表现，结果英文不一定最好。
多语言提示
共 1 条相关 AI 资讯
7月17日
11:22
该研究分析了GPT-4o mini、DeepSeek和Claude在460个编程任务（Python和Java各230个）上的代码生成质量，将英文提示翻译并人工校订为中文、印地语、西班牙语和意大利语。通过测试通过率、代码度量标准和静态分析工具评估，发现英文提示并非总能产生最佳功能正确性或代码质量，提示语言的影响取决于编程语言和LLM，且生成的代码常在注释和字符串中混合英语与提示语言。这是首个用于研究代码生成中语言偏差的精选多语言基准。