IFBench

general · First seen 2026-05-23 · Last seen 2026-11-18 · 27 mentions

Overview

IFBench 是 AI2(Allen Institute for AI)推出的指令遵循能力评测基准,专门衡量大语言模型对复杂、精确指令约束的执行程度。它与 IFEval 一脉相承,但覆盖了更细粒度的格式、长度、结构约束,已成为衡量模型“听话程度”的常用参考之一。

IFBench 相关的模型进展

指令遵循能力正在成为各家新模型竞相强调的指标。2026 年 8 月 13 日的 HackerNews 热点汇总中,多项模型发布都伴随评测榜单更新,指令遵循类基准是社区讨论的常客(2026 08 13 HackerNews)。

开源阵营的竞争尤为激烈。阿里开源的 Qwen3.8-2.4T-A95B 采用 2.4T 总参数的 MoE 架构、单次激活 95B,并支持原生 256K 上下文,这类旗舰级开源模型在 IFBench 等指令基准上的表现直接影响其社区口碑(阿里开源Qwen3.8-2.4T-A95B)。同期,Qwen 还发布了 Qwen3.8-Flash,并把 Qwen3.8-Flash-Next 作为 Qwen4 架构的早期预览开源(Qwen3.8-Flash 正式发布)。

海外方面,前 OpenAI 首席技术官穆拉蒂创办的 Thinking Machines 开源了 975B 总参、41B 激活的多模态 MoE 模型 Inkling,被称为美国最强开源模型之一(Thinking Machines开源多模态模型Inkling)。智能体方向上,DeepSeek 团队提出的 Agents-A1 是一个 35B 的 MoE 模型,据论文描述可在长视野任务上媲美万亿参数模型的性能(Agents-A1)。

当前焦点与观察点

围绕 IFBench 这类评测基准,争议集中在两点:一是格式类约束是否真实反映可用性——模型可能为拿分而过度迎合表面格式;二是评测方法的演进。arXiv 上的 BINEVAL 提出把 LLM 评估分解为二元问题,以提升可解释性并支持模型自我改进,代表了评测方法从整体评分向原子化判断演进的趋势(BINEVAL)。

另一个观察角度是推理效率与指令质量的平衡。Inception 的扩散模型 Mercury 3 已上线 OpenRouter,速度超过 1000 token/秒(Inception 扩散模型 Mercury 3 上线 OpenRouter);腾讯也将 Hy4-preview 模型压缩至 200GB 的 GGUF 格式以便本地部署(腾讯Hy4-preview模型压缩至200GB GGUF)。未来值得关注的是:IFBench 分数能否与真实用户场景中的指令执行体验保持一致,以及评测是否会更快被代理任务、多模态指令所补充。

Coverage

10 on file