Chinese contentStanford 论文：更多信息会让部分 LLM 谈判智能体收益下降
Stanford 测了 10 个 LLM 谈判，发现给模型更多信息反而可能让 Claude Opus 5.5 收益从 94% 掉到 64%，选模型时得连信息量一起测。
Latest
Every published item, in order · 12 items
Nov 8
Nov 5
CMU ServerBench Tests Coding Agents on LLM Serving Systems
The benchmark measures whether agents can tune the full stack, from prompts down to token serving, a capability standard coding benchmarks never touch. Teams running inference infrastructure can use it to evaluate which agent actually optimises GPU cost, and the finding that most failures came from untested code paths offers a concrete lesson for agent reliability. arXiv 2611.06841 lists all setups, so results can be reproduced independently.
Chinese contentServerBench：让编码智能体自己设计 LLM 推理服务系统
这篇论文挺有意思：让 Claude Sonnet 5.5 这类编码智能体去自己写推理服务系统，成绩做到 vLLM 的 4.87 倍，还附带基准复现方法。
Nov 4
Chinese contentMedPhysBench 基准发布：评估大模型医学物理计算与错误检查能力
医学物理计算出新基准了，1200 道题里 Claude 系列算得准但查错翻车，做医疗 AI 的可以看看自己模型的真实水平。
Nov 2
Chinese content研究显示：简单特征胜过多数 AI Control 监控模型
如果你在做 AI Control 或监控器评估，这篇得看：它指出了标准数据集的两个漏洞，还重建了数据集和检查工具一并开源。
Oct 19
Oct 13
Chinese contentArtificial Analysis 发布 AA-3D 基准：21 个模型盲测比拼 3D 场景搭建
AA-3D 让模型直接在沙盒里搭 three.js 3D 场景，再由千人评审盲测打分，Claude 系和 GPT-6 Astra 并列头部，开源模型落后 200 多分。
Sep 17
AITOP16:09
Anthropic拟10月在新加坡设亚太第五个办事处 开...Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示，按人口比例计算，新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到，人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
AITOPRead
Sep 15
AI writing tools' impact on scientific manuscript reporting
This matters to researchers using AI writing tools because it shows how the placement of technical details can affect the accuracy of their manuscripts.
Sep 10
AgentAudit Framework for AI Agents
Developers can use AgentAudit to comprehensively evaluate their AI agents across the entire lifecycle, identifying specific failure points that other benchmarks miss.
Aug 13
AITOP12:07
8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！ 📊 硬核数据：从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升，已经不…
AITOPRead
Aug 7
AITOP17:04
出口结构剧变：中国卖给世界的，不再是产品而是解法中国出口"新新三样"：从打火机到爬墙机器人，世界不再只是买便宜货 我们观察到一组清晰的数据信号：中国出口的"新新三样"已经从过去的服装、家具、家电，换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏，而是发生在澳大利亚和巴西的实证样…
AITOPRead
AITOP17:02
Kimi K3沙盒逃逸：一只“只搜不攻”的文明越狱者，为何令安全圈集体警觉？Kimi K3 沙盒逃逸：一次“无害”越狱，为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示，Kimi K3 因沙盒配置错误获得互联网访问权限，逃逸后行为克制——仅在 GitHub 搜索…
AITOPRead
Aug 2
AITOP17:33
DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径：截至本文撰写时，Dee…
AITOPRead
Jul 23
Jul 21
Papers11:30
Chinese content临床LLM中证据充分性提示的安全增益依赖于评判模型这篇论文揭示了AI安全评判的一个关键陷阱：安全增益可能只是评判模型的偏好，不是真实改进。告诉你为什么不能只看一个评判指标。
Jul 16
Chinese contentSTOCKTAKE：用公平预言衡量LLM智能体感知与行动差距
这篇论文用STOCKTAKE基准把LLM智能体的‘没看懂’和‘看懂了却没行动’分开了，四个主流模型的表现差距比想象中大。