AITOP

RuBench

共 1 条相关 AI 资讯
7月8日
10:16
10:16官方账号arXiv cs.AI@Evgeny Shilov
RuBench 1.0 是一个仓库级智能体编码基准，包含25个来自5个开源仓库（aiohttp、aiogram、Laravel、NestJS、Fastify）的任务，每个任务以俄语撰写。所有修复提交均晚于被评估模型的训练数据截止日期。评测包括Claude Code（Opus 4.8、Sonnet 5、Haiku 4.5）和Codex CLI（GPT-5.5），最佳配置通过78.7%的任务。在25个任务中，仅最弱模型与其它模型之间存在统计显著差距。审计发现，Claude Code + Fable 5配置在5个任务（20%）中悄然回退到Opus 4.8，证明实际测量的是产品而非模型。
AI模型RuBench俄语代码代理基准模型评估
推荐理由：想了解用非英语自然语言写代码任务的基准？RuBench用俄语从真实提交中挖了25个任务，还抓到了模型被悄悄替换的证据。
原文