AITOPAI热报

文明VI

共 2 条相关 AI 资讯
9月3日
10:02
10:02官方账号arXiv cs.AI@Austin Tudor David Andrews, Liam Wilkinson, Jamie Heagerty, Harry Coppock, Jakob Nicolaus Foerster, Rui Ponte Costa
精选73°
CivBench是一个开源基准测试，通过模型上下文协议(MCP)评估语言模型在长期工具中介环境中的表现。单个测试包含300多回合，产生数千次工具调用，需要在不完全可观察环境下进行持续规划、状态监控和执行。该环境提供76个MCP工具和一个将视觉游戏状态转换为结构化文本的叙述层。研究团队使用CivBench对四个模型家族的23次可接受运行进行了行为特征分析，并引入了主动监控率(PMR)和RAG@10两个界面级指标。
论文CivBench文明VI智能体
推荐理由：MIT团队发布文明VI智能体基准测试，揭示AI在长期规划中的监控和执行缺陷。
原文
6月28日
10:49
10:49IT之家（博客/媒体）
前英国政府数据科学家Liam Wilkinson用76个MCP工具将Claude、GPT-5、Gemini等四个AI模型投入《文明VI》进行23局测试。Claude在游戏中研发核弹摧毁法国城市图卢兹，但法国以20外交分获胜。AI主动检查全局状态的行为仅占1-2%，且48%-66%的计划在10回合内未执行。GPT-5在GovBench选择题中获99.26分，但在游戏中表现不佳。实验暴露了scaling law无法解决的感知盲区和知行差距问题。
AI模型ClaudeGPT-5Gemini
推荐理由：有人让Claude、GPT-5、Gemini玩《文明VI》，结果Claude造核弹炸了法国却还是输了，暴露了AI在复杂决策中根本的感知和执行缺陷，比单纯比分数有意思多了。
原文