Google launches Android Bench 2.0 benchmark for Android development
Google 官方推出专门衡量模型完成真实 Android 开发工作的基准测试：Android Bench 2.0 https://t.co/Sv5Fh1hbTv 任务源自 Google Andro...
For developers, this benchmark provides a concrete comparison of how different AI coding assistants perform on real-world Android engineering challenges, helping them choose the best tool for their projects.
Google has released Android Bench 2.0, a new benchmark for evaluating AI models on real Android development tasks. The new version includes 30 tasks covering four categories: app conversion, building from scratch, architecture migration, and new feature development. It tests model + agent combinations, with GPT 6 Astra + Codex and Claude Fable 5.1 + Claude Code topping the list. The highest pass rate was 28%, with most models failing XML to Compose migrations and Flutter/React Native to Android conversions.
Google 官方推出专门衡量模型完成真实 Android 开发工作的基准测试：Android Bench 2.0 https://t.co/Sv5Fh1hbTv 任务源自 Google Andro...
Google 官方推出专门衡量模型完成真实 Android 开发工作的基准测试：Android Bench 2.0 developer.android.com/bench 任务源自 Google Android 最佳实践文档，采用真实生产级应用（Signal、Bitwarden、Pocket Casts、WordPress、Now in Android 等）作为工程场景。 Android Bench 2.0 评测对象是 “模型 + Agent 组合”，测模型搭配其专属 Coding Agent 的实战表现——如 GPT + Codex、Claude + Claude Code、Gemini + Antigravity、Kimi K3、Qwen 3.8 Max。 Android Bench 2.0 从原来 100 个短任务（1.0 版本）扩展出一套 30 个任务的新赛道，覆盖四类真实的工程工作： · 应用转换：Flutter / React Native 应用迁移到原生 Android · 从零构建应用：如外卖应用子模块、图书搜索应用 · 架构迁移：XML View → Compose、Hilt → Koin、Retrofit → Ktor、Java → Kotlin 等（占 13 个，是最大类别） · 新功能开发：CameraX 拍照、Media3 视频、画中画、无障碍等 评测结果（通过率最高 28%） · GPT 6 Astra + Codex、Claude Fable 5.1 + Claude Code 分别前两名，A O 两家包揽前四 · Qwen3.8 Max + Qwen Coder、Kimi K3 + Kimi Code 五六名 · Google 自家的 Gemini 3.8 Flash、Gemini 3.7 Flash + Antigravity 列七八名，但成本有优势 全军覆没的任务（所有模型 0/5）： · 两个跨平台转换任务：Flutter→Android（Habo）、React Native→Android（BlueWallet）。最戏剧性的是 GPT 6 Astra 在 Habo 上完成度达 99% 却一次没通过——代码写完了，功能不对 · 大量 XML→Compose 迁移：Signal（4 项）、Fossify 文件管理器、WordPress 邀请页等，几乎所有模型都是 0/5 · 其他无人通过的还有：Nav 2→Nav 3（Bitwarden）、Hilt→Koin（Now in Android）、Kotlin Multiplatform 迁移（NIA） Android Developers @AndroidDev 📢 Introducing Android Bench 2.0. We've leveled up our AI evaluation framework to handle real-world, multi-day engineering challenges—from building apps from scratch to migrating cross-platform codebases to Android. Let’s dive into what’s new. 🧵👇🏽 🔗 View Quoted Tweet 💬 3 🔄 0 ❤️ 1 👀 438 📊 3 ⚡
