InterFLOPBench: LLMs浮点错误分类F1超0.88

Benchmarking Large Language Models on Floating-Point Error Classification

精选理由

这篇论文搞了个InterFLOPBench,专门测LLM找C语言浮点bug。Qwen 3和Gemini 2.5等模型表现最强,F1超0.88。写代码的必看!

AI 摘要

论文发布了InterFLOPBench,一个包含90个C语言内核和1130个测试样本的浮点错误分类基准。它评估了14个LLMs在六类错误(抵消、比较、除以零、溢出、下溢、NaN)上的多标签分类性能。结果显示,Qwen 3 32b、Gemini 2.5 Flash、Phi 4 Reasoning、DeepSeek R1T2和gpt-oss(20b和120b)等模型总体F1分数超过0.88。不同错误类别表现差异大:除以零平均F1为0.8479,而下溢和抵消分别只有0.6059和0.6164。

AI 翻译 · 中文

论文发布了InterFLOPBench,一个包含90个C语言内核和1130个测试样本的浮点错误分类基准。它评估了14个LLMs在六类错误(抵消、比较、除以零、溢出、下溢、NaN)上的多标签分类性能。结果显示,Qwen 3 32b、Gemini 2.5 Flash、Phi 4 Reasoning、DeepSeek R1T2和gpt-oss(20b和120b)等模型总体F1分数超过0.88。不同错误类别表现差异大:除以零平均F1为0.8479,而下溢和抵消分别只有0.6059和0.6164。

arXiv: DeepSeekThis paper investigates the capability of Large Language Models (LLMs) to detect and classify floating-point errors statically in software code. We introduce InterFLOPBench, a benchmark of 90 C kernels with 1 130 test sa