MultiLangBench

general · First seen 2026-10-20 · Last seen 2026-10-21 · 5 mentions

Overview

MultiLangBench 是一个用于评估大模型在多种编程语言上代码能力的基准测试,覆盖范围不限于 Python 等主流语言,还包括 COBOL、Fortran 等仍在金融与科学计算领域广泛使用的遗留语言。由于企业存量系统中遗留语言代码量大、维护人员稀缺,模型在这类语言上的表现正成为代码模型竞争的新指标。

MultiLangBench 相关的近期进展

  • OpenAI 发布 GPT-6 系列:COBOL 迁移准确率最高达 97.9%:在 MultiLangBench 相关评测中,GPT-6 系列在 COBOL 代码迁移任务上的准确率最高达到 97.9%,这是模型对遗留语言能力的一次显著展示。
  • OpenAI称GPT-6大幅提升COBOL、Fortran等冷门编程语言能力:OpenAI 官方表示,GPT-6 在 COBOL、Fortran 等此前训练数据相对稀缺的语言上有大幅进步,弥补了以往模型偏重主流语言的短板。
  • OpenAI 发布新模型,称其在 COBOL 和 Fortran 上的表现提升:多家媒体关注到,新模型在遗留语言上的改进被视为面向企业存量系统维护需求的直接回应。
  • 当前焦点与观察点

    目前围绕 MultiLangBench 及类似多语言代码评测的讨论,集中在三点:其一,遗留语言(COBOL、Fortran)任务的高准确率是否足以支撑真实的生产级迁移,仍有待独立验证;其二,评测结果多为厂商自报,第三方复现和横向对比尚不充分;其三,银行、保险等重遗留系统行业的实际采用意愿和落地节奏,将决定这类能力提升的商业价值。后续值得关注的,是其他模型厂商是否跟进发布同类多语言成绩,以及 MultiLangBench 本身的任务定义是否会被进一步扩展。

    Coverage

    3 on file
    MultiLangBench · AI 话题观测|AI热报