Stanford 测了 10 个 LLM 谈判,发现给模型更多信息反而可能让 Claude Opus 5.5 收益从 94% 掉到 64%,选模型时得连信息量一起测。
Latest
Anthropic 公开了 Claude 记忆系统的设计细节,Dreaming 机制让 Agent 自己复盘纠错,在 CL-Bench 上提了 28%,做 Agent 记忆的都该看看。
Anthropic 拆了 Claude 智能体的记忆架构,让模型在空闲时"做梦"纠错总结,CL-Bench 得分从 0.65 拉到 0.83,做智能体的可以抄作业。
The 29× cost gap between frontier models with a 3-point score spread changes the economics of choosing a model for scientific agent workloads. Teams building lab-automation or biotech analysis tools can use the per-task cost and turn counts to pick models that fit their budgets. The 19-point deficit of open weights models like Kimi K3.1 Pro also marks a concrete ceiling for on-premise deployments.
Routing thousands of micro-decisions to a pick-only model could cut agent orchestration costs by orders of magnitude where the answer space is a finite option list, not free text. Builders running multi-step agent pipelines can plug it in as a cheap decision layer while keeping a general model for generation. The gap on HLE shows it is a narrow tool, not a replacement for reasoning models.
一个 0.5M 参数的小模型在卡坦岛赢了 40 局里的 36 局,对手是 Claude Opus 5.5 和 Kimi K3,体积还小了 1000 万倍,思路很反直觉。
The interesting part is the interface shift: instead of generating text, these models emit calibrated probabilities over fixed options, which suits scoring, routing and agentic decision points where latency matters. Builders assembling agent pipelines or classification backends can try the weights on Hugging Face or read the paper at arxiv.org/abs/2611.07854. Compared with calling Claude Opus 5.5 or GPT-6 Sol, Drex trades text generation for sub-200ms structured decisions under an open licence.
给联邦学习开发者看的新玩法:Claude Opus 5.5 每 10 轮看一次客户端权重,自己写聚合代码,168 次实验显示比 FedAvg 高 1.26 个点,一次才花 0.79 美元。
一个前谷歌工程师把整个项目丢给 Claude Opus 5.5,三四天写出 3 万行代码,自己只负责提问题和确认方案,过程细节很值得看。
把 PyTorch 仓库自动改成 JAX 版的智能体测评,Claude Opus 5 通过 75%,其他模型差距挺大,做工程自动化的可以看看。
The upgrade comes from post-training and perception rather than scale, which means the same 770B base now handles screenshots, charts and full desktop workflows — a shift that matters more for agent builders than raw leaderboard chasers. Missing third-party evaluations mean teams should run their own tests before switching, and the free quota until 15 Nov 2026 makes a hands-on comparison against DeepSeek or Qwen low-cost to attempt.
蚂蚁发了 Ling-3.2-flash,560B 参数原生多模态,自测三项基准跑赢 Claude Opus 5(max),API 前两周免费,可以试试。
34 家机构出了一套真科研任务考 AI 智能体,最强模型才拿 37.5 分,端到端做研究全是 0 分,能直观看到现在 AI 做科研的真实水平。
新基准 SLE 用 91 个真实科研任务测模型,Claude Opus 5 以 67 分领先 GPT-6.1 Sol 和 Kimi K3.1 Pro,做科研自动化评估的可以看看。
SemiAnalysis 搞了个新基准 GDPx,模拟芯片设计、量化交易这类真实工作,结果最强的 Claude Opus 5.5 也才 12% 出头,智能体离真干活还差得远。
同样 100 美元,不同模型差出 60 倍任务量,选模型前看这组性价比数据能省不少钱。
斯坦福他们测了 18 个模型当队友的水平,最强的 Gemini 4 Argon 也才 82.2 分,冲突一开会就妥协,挺扎心的。
有人用 Opus 5.5 加 Tripo、Three.js 这一整套工具,24小时就做完了原创游戏,流程全公开,想做独立游戏的可以照着抄。
有人用 Claude Opus 5.5 写了个开源项目 TVPort,把 Switch 游戏重新编译后搬到 Apple TV 4K 上跑,《奥德赛》能 60 帧玩,不过得自己从正版卡带提取游戏文件。
月之暗面兑现承诺放出了 Kimi K3.1 Pro 权重,智能体任务实测比 K3 强了一截,编程成绩已经贴着 Claude Opus 5.5 打,做 Agent 的可以关注。
月之暗面把 2.8T 参数的 Kimi K3.1 Pro 权重直接开源了,4-bit 发布省存储,编程基准分数贴近 Claude Opus 5.5,纯知识题却差 GPT-6 一截,许可证对云托管商还有限制。
For hour-long agent workloads, the cheapest model is not automatically the right one: Claude Opus 5.5 scores higher but costs twice as much per hour as Gemini 4 Carbon. Teams running long-horizon agents can use these per-hour cost and time figures to match model choice to budget and quality needs. The 55-minute spread among frontier models also suggests task duration, not just accuracy, should enter model selection criteria.
Agent Arena 拆了成本维度看模型:贵任务上 OpenAI 和 Anthropic 不再通吃,Gemini 4 Argon 和小米 MiMo 顶上,选型前值得对号入座。
Cost differences widen precisely on the longest sessions, so the cheapest model for simple tasks is not the cheapest for complex agentic work. Teams running long-horizon agent tasks such as app development can cut bills by re-benchmarking at high task complexity rather than averaging across workloads. The finding also opens the door for Gemini 4 Argon and Xiaomi's MiMo-V2.6 Flash and Pro to challenge OpenAI and Anthropic where budgets are tightest.
Agent Arena 拿 5 家实验室的旗舰模型跑了长任务对比,Claude Opus 5.5 能连续干近 2 小时,Kimi 最快但也最短,差距挺直观。
Benchmarking by task completion time rather than tokens per second changes how verbose models rank: GPT-6 Astra beats faster rivals because it emits about 50k output tokens per task versus 120k–170k for competitors. Default-effort data shows medium effort cuts task time 3–5x at a modest intelligence cost, which directly informs cost-sensitive API choices. Developers comparing models for agentic workloads should re-read leaderboards with this metric in mind.
Fireworks AI 的 Nexus Auto 用更低成本在 1222 项任务上跑赢了 Claude Opus 5.5,编码会话成本降 53%,团队版每月每席 10 美元。
Moonshot 开放了 Kimi-K3.1-Pro,2.8T 参数只激活 104B,1M 长上下文,BrowseComp 拿了 92.1,权重才 1.56TB,跟 Claude Opus 5.5 掰手腕。
有人靠 Opus 5.5 给人代做视频,一条收 1500 元。不过作者也提醒:现在 AI 味的视频大家看腻了,得有你自己的东西才行。
腾讯混元的 Hy4 正式版能看图能操作电脑了,还练过 Blender 和 CAD,这两天在 WorkBuddy 里限免,可以白嫖试试跟 Kimi 的差距。
上周 Anthropic 还因拒绝参考现有游戏被开发者吐槽,这版 Claude Code 就改了,现在提玩法参考没问题,只要不复刻原作就行。
让 Claude Opus 5.5 直接读神经网络权重、盲找放疗筛查网络的 bug,16/18 找中,还只改 3 个参数就修好,挺新鲜的做法。
医学物理计算出新基准了,1200 道题里 Claude 系列算得准但查错翻车,做医疗 AI 的可以看看自己模型的真实水平。
Menlo Ventures 这份企业 AI 报告数据很硬:部署支出涨到 1770 亿美元,Claude Code 加 Codex 吃下编程市场 70%,Kimi 拿走开源支出的 61%,花几分钟看看行业格局变化。
Claude Opus 5.5 控机械臂放鳄鱼,23分钟做完后还多推了22分钟,活儿白干,这个实验挺好笑也挺有启发。
The heavier weighting on Non-Hallucination and Agentic Tool Use signals which failure modes actually matter for professional work, and leaderboard positions may shift for models evaluated under the older v1 methodology. Hiring teams and enterprises selecting models for legal, finance or medical workflows can use the six indexes to match models to specific occupations rather than relying on a single aggregate score. Chinese labs' strong open-weight showings from Moonshot, MiniMax and DeepSeek also give cost-sensitive buyers credible alternatives to frontier closed models.
两人围绕 Astra 和 Claude Opus 5.5 写代码吵起来了,到底该怪模型还是怪没说清代码偏好,争论挺有参考价值。
Allen AI 做了个新基准 StateBench,专门考模型能不能跟上长文本里的状态变化,结果 GPT-6 Sol 和 Claude Opus 5.5 在最难题目上准确率只有 13%,挺扎心的。
Intology 做了个叫 Locus 的系统,能自己提实验、并行跑、再迭代,分子预测上干过了 GPT-6 Astra 和 Claude 的智能体,做药物设计的朋友可以看看。
一条实操小分享:原效果用 Claude Opus 5.5 复现不出来,改用 HTML 拼上 GPT-image 就出了不错的效果,方法简单可以直接抄。
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…