精选理由
想了解用非英语自然语言写代码任务的基准？RuBench用俄语从真实提交中挖了25个任务，还抓到了模型被悄悄替换的证据。
RuBench 1.0 是一个仓库级智能体编码基准，包含25个来自5个开源仓库（aiohttp、aiogram、Laravel、NestJS、Fastify）的任务，每个任务以俄语撰写。所有修复提交均晚于被评估模型的训练数据截止日期。评测包括Claude Code（Opus 4.8、Sonnet 5、Haiku 4.5）和Codex CLI（GPT-5.5），最佳配置通过78.7%的任务。在25个任务中，仅最弱模型与其它模型之间存在统计显著差距。审计发现，Claude Code + Fable 5配置在5个任务（20%）中悄然回退到Opus 4.8，证明实际测量的是产品而非模型。
AI 翻译 · 中文
RuBench 1.0 是一个仓库级智能体编码基准，包含25个来自5个开源仓库（aiohttp、aiogram、Laravel、NestJS、Fastify）的任务，每个任务以俄语撰写。所有修复提交均晚于被评估模型的训练数据截止日期。评测包括Claude Code（Opus 4.8、Sonnet 5、Haiku 4.5）和Codex CLI（GPT-5.5），最佳配置通过78.7%的任务。在25个任务中，仅最弱模型与其它模型之间存在统计显著差距。审计发现，Claude Code + Fable 5配置在5个任务（20%）中悄然回退到Opus 4.8，证明实际测量的是产品而非模型。
Developers increasingly delegate real maintenance work to product-grade coding agents, and many state tasks in their native language, in the style of a customer request rather than a curated English issue. Existing rep…