Design Creativity Bench 发布：GPT-6 Astra 创造力第一，仍远低于人类设计师
Kombaico 做了个测 AI 设计创造力的榜单，GPT-6 Astra 才拿 65.5 分，人类是 92.3，模型们设计得都挺像，论文和代码都开源了。
Kombaico 发布 Design Creativity Bench，用 80 个开放式 UI 任务（共 160 份设计简报）评估模型的 UI 设计创造力，并配有人类设计师参考作品。GPT-6 Astra 以 65.5 分居首，人类参考为 92.3 分；Claude Opus 5.5 仅得 51 分。模型的适切性普遍超过 90%，最高达 99.2%，但模型之间的设计相似度为 0.592，创意广度平均 0.581 也远低于人类的 0.902。垫底模型 Seed 1.6 Flash 原创性最高（0.810）但适切性只有 73.7%，说明基准能区分“乱出牌”和真正的创造力。
模型创造力排行 GPT-6 Astra 排第一、Claude Opus 5.5 第八 ？而且最强模型还是远低于人类 ？ @Kombaico 发布了 Design Creativity Bench：一个专门评估 AI 模型在 UI 设计任务上“创造力”的基准，可以看具体评测情况和数据，以及背后的论文和代码支撑： kombai.com/benchmark/ # 测试基准怎么建立的 ？ 任务设计：80 个开放式 UI 任务，每个任务适配两个不同产品领域（共 160 份设计简报），并配有人类设计师的参考作品作为基线。 评估对象：34 个模型（推文聚焦其中 16 个前沿模型）。 三个创造力维度（理论根基是“创造力 = 新颖性 + 适切性”）： · 原创性：不同模型面对同一提示时，产出之间差异有多大； · 创意广度：同一 UI 目标换到另一个产品领域时，模型能否做出真正不同的设计决策； · 适切性：设计满足简报验收标准的程度。 # 测试结果很意外！ 创造力总分差距悬殊：最佳模型 GPT-6 Astra 得 65.5，人类设计师参考为 92.3，差距近 30 分。前几名为 GPT-6 Astra（65.5）、GPT-6.1 Sol（63.7）、Grok 4.7（62.2）、Gemini 3.8 Flash（60.6），Claude Opus 5.5 才 51 分！ 模型“合格但不出彩”： · 适切性上模型不输甚至略胜人类：所有前沿模型均超过 90%，最高 99.2%（人类为 98.0%）。模型是出色的“执行者”。 · 但原创性显著不足：模型与模型之间的设计相似度为 0.592，而人类与模型之间为 0.764；也就是说，模型们收敛到了同一种“平均审美”，彼此更像，与人类的差异反而更大。 · 创意广度差距最大：模型平均 0.581 vs 人类 0.902。同一个界面换个行业，人类设计师会重构设计语言，模型基本只是换皮。 一个精妙的反面验证：排行榜垫底的模型（如 Seed 1.6 Flash）原创性数值反而最高（0.810），但适切性只有 73.7%。这证明该基准没有被“乱出牌”骗过：单纯的怪异不等于创造力，新颖必须建立在对需求的准确理解之上。同时也解释了为什么强模型趋于保守： RLHF 式的训练天然会把输出拉向分布的众数，原创性成为代价。 Dipanjan Dey @Dipanjan_Dey ⚠️ Frontier AI models still fall significantly short of human designers on design creativity. ⚠️ Introducing Design Creativity Bench, a new benchmark evaluating AI models’ creativity on UI design tasks. Despite rapid advances in their ability to generate functional websites and product UIs, leading AI models still struggle to make creative design decisions. We evaluated 16 frontier models across 80 open-ended UI tasks, each adapted to two distinct product domains alongside human designer references. Existing UI benchmarks often measure a single output quality metric. Instead, we measure three dimensions of design creativity: - Originality: How distinct a model's designs are from other models' outputs for the same brief. - Creative Range: How much a model adapts its design decisions when the product domain changes. - Appropriateness: How well the generated UI satisfies the functional requirements of the brief. The results reveal a substantial gap in overall creativity: The best model, @OpenAI GPT-6 Astra, scores 65.5 against a human reference of 92.3. We're publishing the full leaderboard, methodology, and reproducible evaluation framework to make design creativity a measurable dimension of frontier model capability. 📊 Benchmark Leaderboard: kombai.com/benchmark/ P 📄 Paper arxiv.org/abs/2610.11539 cL 🤗 HuggingFace Dataset huggingface.co/datasets/Komba… Eyl 🔗 Gith github.com/kombai-io/desi… 9P7H 🔗 View Quoted Tweet 💬 6 🔄 0 ❤️ 8 👀 383 📊 6 ⚡
