AI 不光看片写报告,这回直接上手做小鼠开颅手术了,GPT-6.1 Sol 三次操作误差砍半,还对比了 Claude 和 Grok 的不同选择,挺有意思。
Latest
Stanford 测了 10 个 LLM 谈判,发现给模型更多信息反而可能让 Claude Opus 5.5 收益从 94% 掉到 64%,选模型时得连信息量一起测。
The benchmark measures whether agents can tune the full stack, from prompts down to token serving, a capability standard coding benchmarks never touch. Teams running inference infrastructure can use it to evaluate which agent actually optimises GPU cost, and the finding that most failures came from untested code paths offers a concrete lesson for agent reliability. arXiv 2611.06841 lists all setups, so results can be reproduced independently.
这篇论文挺有意思:让 Claude Sonnet 5.5 这类编码智能体去自己写推理服务系统,成绩做到 vLLM 的 4.87 倍,还附带基准复现方法。
医学物理计算出新基准了,1200 道题里 Claude 系列算得准但查错翻车,做医疗 AI 的可以看看自己模型的真实水平。
如果你在做 AI Control 或监控器评估,这篇得看:它指出了标准数据集的两个漏洞,还重建了数据集和检查工具一并开源。
GitHub 新出的 Copilot Fusion 会自动在 Claude 和 GPT 模型里挑着用,跑分只比 Opus 5.5 低 2 分,成本却便宜一半。
谷歌自家基准把自家 Gemini 4 Argon 排到第五,通过率才 21.3%,GPT-6.1 Sol 的性价比数据对安卓开发者选模型很实用。
博主实测了 OpenAI 新出的 GPT-6.1 Terra,把它和 Claude、DeepSeek 放一起比价格和速度,还测了 141 tok/s 的输出,选模型前可以先看看。
Kimi K3.1 Pro 智能指数拿 55 分排第 4,智能体任务比上代强一大截,价格还降了 33%,权重也快开源了。
Artificial Analysis 测了各家模型的性格指标,Claude 全系在信息密度和文风两项都排最前,写文案的可以参考这个榜。
Verbose medical answers earn completeness points but introduce more claims that can contradict the record, so length itself becomes an accuracy liability. Teams building clinical documentation or decision-support tools should weight length-adjusted scores over raw ones, since the top model changes depending on that choice. Against alternatives like GPT-6 Astra, Claude models suit use cases where covering every rubric point matters more than brevity.
Anthropic 的 Sonnet 5.5 在 ARC-AGI-3 上拿了 72.4%,这个基准一直很难,数据里还给了不同 harness 的对比和每任务成本,做评测的可以看看。
The split matters more than the tie: Anthropic models dominate completeness, with Claude Sonnet 5.5 at 64.8% versus 42.2% for the best non-Anthropic model, while OpenAI models dominate accuracy, led by GPT-6.1 Sol at 96.7%. Teams deploying models for medical record review should pick based on which failure mode they can tolerate. Even top models still fail more than half of the benchmark's questions, so human review remains necessary.
Devin Fusion 用 Opus 5.5 带一个更便宜的 GPT-6 Luna 副手,编码分数追平 Claude Code 还便宜三成,双模型怎么配合值得一试。
有人拿 Claude Code 给小米电视禁掉 25 个预装包还换了个启动器,代码和提示词都公开了,想给自家电视去广告的可以看看,不过翻车风险也不小。
医疗对话模型排行榜上线了,GPT-6 Astra 和 DeepSeek V4.1 Flash 的分数、成本对比都有,选医疗模型前可以看看。
Sonnet 5.5 单项评测拿了 3 个第一,比 Opus 5.5 还猛,这条推里有各家模型的榜首分布数据,选模型前可以看看。
Google 把内测的 Gemini 4 Argon 开放了,专业任务榜上分数超过了 Claude 两个型号,单次测试还便宜一半,做长任务的可以看看价格变化节点。
Google 新旗舰 Gemini 4 Argon 今天就能用,API 引入价输入 2 美元,12 月翻倍。Vals Index 榜单第一,稍微压过 Claude Sonnet 5.5。
petergostev 把 Meta 的 Muse Wonder 拉来和 Opus 5.5、GPT-6.1 Sol 这几个模型同台比 3D 场景和前端生成,还附了每次生成的费用,想选模型可以看看。
AA-3D 让模型直接在沙盒里搭 three.js 3D 场景,再由千人评审盲测打分,Claude 系和 GPT-6 Astra 并列头部,开源模型落后 200 多分。
Anthropic 两款 Claude 新模型包揽了图像转网页榜单前两名,价格还比 GPT-6 Astra 便宜六成,做前端生成的可以看看对比图。
Google 内部正测试新模型 Carbon,有员工说写代码的感觉像 Opus 5.5,编程正是 Gemini 目前的短板,想换工具写代码的可以留意。
国庆七天AI圈一口气出了 Sonnet 5.5、GPT-6.1 Sol、Gemini 4 Argon,中档模型半价反超旗舰,还有 OpenAI 安全负责人辞职,一篇看完全部大事。
Sonnet 5.5 缓存读取价格砍半了,跑 agent 的话同一套代码成本直接降两成,走 API 的可以省一笔。
Google 的 Gemini Agent 要接入 Claude Opus 5 和 Sonnet 5.5 了,Claude 首次出现在 Gemini 上,企业用户一个平台能用两家模型。
一天里的关键更新都在这:Claude Haiku 5.5 带百万上下文还降价,GPT-6 全面推送交互式界面,GitHub Copilot CLI 能直接用本地 Ollama 模型。
Anthropic 放出 Haiku 5.5,比上一代便宜 75%,基准和速度都压过 GPT-6 Luna,小模型优先的话可以看看这条。
Anthropic 把最便宜的小模型 Haiku 升到 5.5,成本只有 Sonnet 5.5 的零头,跑 agent 任务可以省不少钱。
GitHub Copilot 里现在能用 Anthropic 的 Claude Haiku 5.5 了,编码表现接近 Sonnet 5 但更省 token,做小改动很顺手。
写代码经常用 Haiku 的朋友看下价格,10 万 token 内输入一毛钱一百万 token,Sonnet 缓存读取也砍半了
Anthropic 把 Sonnet 5.5 的缓存读取砍价一半,长会话应用能直接省 20% 成本,跑 Agent 的可以重新算账了。
Anthropic 把最强的 Claude 模型开放给审核过的安全团队挖漏洞,半年挖出 13 万多个,还分了三个权限层级,搞安全的可以关注怎么申请。
Arena.ai 更新了 Agent Arena 榜单,Anthropic 和 OpenAI 的模型在真实任务上谁强谁弱,一目了然。
做政府或金融类项目的开发者注意:Claude Opus 5.5 和 Sonnet 5.5 进了 AWS GovCloud,配 Claude Code 可以在合规环境里跑 AI 编程。
Replit 这周更新不少:模型列表加上了 GPT-6.1 Sol 和 Claude Sonnet 5.5,还能让 agent 直接调 Jev,企业用户记得看看新的 Workplace 规则设置。
这周两家都憋了大招:OpenAI 的常驻智能体 dots 直接带云电脑,Anthropic 的 Sonnet 5.5 更快更便宜,FTC 还介入调查了
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…