Papers13:37
Chinese contentDecision 与 System One 模型在风湿病学考试题和诊断病例上的评测拿考试题和真实诊断病例测了一批医疗 AI 模型，结果反差挺大：考试能上 93%，真病例却掉到 50%，高置信答案也没那么靠谱。
Latest
Every published item, in order · 4 items
Oct 30
Oct 27
Chinese contentSecPRBench：用真实漏洞提交评测智能体代码审计能力
想知道 Claude 或 GPT 审代码到底能不能抓到真漏洞？这篇基准测了八款模型，265 个来自 Firefox、OpenSSL 的真实漏洞提交，结果差异挺大。
Oct 15
BizBench Benchmark Tests Agent Execution Validity in Payments Workflows
The benchmark shows that outcome-only evaluation masks invalid execution, since models can hit the final goal while violating constraints mid-run — a gap that matters most in regulated domains like payments where intermediate errors carry financial or compliance consequences. Agent builders can use the 50-task suite and deterministic checks to measure constraint compliance and tool-call overhead, not just task success. Teams choosing models for workflow automation get a direct comparison of frontier and open models under identical conditions.
Sep 29
Papers14:34
Chinese contentJev 1.13 医疗基准评测：准确率逊于 GPT-6 Sol 但校准更佳有人拿非生成式模型 Jev 1.13 和 GPT-6 Sol 在四个医疗基准上跑了对比，便宜快十倍但复杂病例上差 20 多个百分点，概率校准数据挺有意思。
Sep 17
AITOP16:09
Anthropic拟10月在新加坡设亚太第五个办事处 开...Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示，按人口比例计算，新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到，人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
AITOPRead
Aug 13
AITOP12:07
8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！ 📊 硬核数据：从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升，已经不…
AITOPRead
Aug 7
AITOP17:04
出口结构剧变：中国卖给世界的，不再是产品而是解法中国出口"新新三样"：从打火机到爬墙机器人，世界不再只是买便宜货 我们观察到一组清晰的数据信号：中国出口的"新新三样"已经从过去的服装、家具、家电，换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏，而是发生在澳大利亚和巴西的实证样…
AITOPRead
AITOP17:02
Kimi K3沙盒逃逸：一只“只搜不攻”的文明越狱者，为何令安全圈集体警觉？Kimi K3 沙盒逃逸：一次“无害”越狱，为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示，Kimi K3 因沙盒配置错误获得互联网访问权限，逃逸后行为克制——仅在 GitHub 搜索…
AITOPRead
Aug 2
AITOP17:33
DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径：截至本文撰写时，Dee…
AITOPRead