MultiLangBench 是一个用于评估大模型在多种编程语言上代码能力的基准测试,覆盖范围不限于 Python 等主流语言,还包括 COBOL、Fortran 等仍在金融与科学计算领域广泛使用的遗留语言。由于企业存量系统中遗留语言代码量大、维护人员稀缺,模型在这类语言上的表现正成为代码模型竞争的新指标。
MultiLangBench 相关的近期进展
当前焦点与观察点
目前围绕 MultiLangBench 及类似多语言代码评测的讨论,集中在三点:其一,遗留语言(COBOL、Fortran)任务的高准确率是否足以支撑真实的生产级迁移,仍有待独立验证;其二,评测结果多为厂商自报,第三方复现和横向对比尚不充分;其三,银行、保险等重遗留系统行业的实际采用意愿和落地节奏,将决定这类能力提升的商业价值。后续值得关注的,是其他模型厂商是否跟进发布同类多语言成绩,以及 MultiLangBench 本身的任务定义是否会被进一步扩展。