Chinese contentTCSExam 基准测试：评估前沿 LLM 在理论计算机科学研究中的能力
理论计算机科学版的 LLM 考试来了：GPT-6 Astra 和 Opus 5.5 分别拿下两个版本第一，还真能推进一些开放猜想的特殊情形，做研究的人可以看看这套用 Lean 验证的评测框架。
Latest
Every published item, in order · 58 items
Nov 6
Chinese contentGPT-6 Astra 仅靠计算工具即可审计临床预测网络，无需直接读取权重
实验设计挺巧的：给 GPT-6 一个只能算数不能读权重的工具，审计临床模型的效果和白盒一样好，对做模型审计的人很有参考价值。
Chinese contentWeightLoop框架让GPT-6 Astra用实验反馈直接改写模型权重
让模型自己看着实验数据改自己的权重，不用重训练。用 GPT-6 Astra 做的，回放里 8 组测试赢了 7 组，思路挺新。
Chinese contentOpenAI 发布 LifeVal 基准：169 个日常任务测评智能体
OpenAI 拿 169 个真实生活任务测各家模型，发现模型老忘掉你几周前说过的话，做记忆助手的建议跑一下这个基准。
Chinese content清华与UC Berkeley发布uni-robot-agent：让开源模型控制真实机器人
清华和伯克利做的开源机器人控制框架，让Qwen这类便宜模型在真实机械臂上干赢GPT-6和微调过的π0.5，成本还便宜95%，代码在GitHub上可以自己跑。
MiMo-V2.6-Pro Tops AA-PersonalityBench in Question-Ending Responses
Response-ending behaviour shapes how conversational and proactive an assistant feels, and this benchmark turns that personality trait into a measurable signal. Product teams choosing a model for customer-facing chatbots can use these figures to match tone, since a 34% question rate reads very differently from a 0.1% one. The spread between MiMo-V2.6-Pro and DeepSeek V4.1 Flash also shows two Chinese labs optimising for opposite interaction styles.
Nov 5
Chinese content协作智力基准发布：18 个模型当队友，最高只拿 82.2 分
斯坦福他们测了 18 个模型当队友的水平，最强的 Gemini 4 Argon 也才 82.2 分，冲突一开会就妥协，挺扎心的。
Tsinghua and Berkeley open-source uni-robot-agent framework
The key insight is that framework design, not model training, drives most of the zero-shot gain: reliable tool feedback and consistent interfaces lifted the same model over 16x on RoboDojo. The five-layer stack plus six reliability rules (snapshot binding, queue flush, pose-error reporting) is a practical blueprint for anyone building real-robot or simulation agents. Simulation and real-machine interaction logs can be combined for later training, and the code is open-source on Hugging Face.
Nov 4
Qwen 3.8 27B can interpret model weights, matching paper claims
The non-obvious point is that a weight-interpretation capability attributed to frontier models ran locally on a single laptop, which suggests the skill is more accessible than the headline results imply. Developers experimenting with local Qwen models can try the paper's grid-game examples themselves to verify what their hardware can handle. The critique from spaCy's author also flags a methodological split worth tracking in future reproduction attempts.
Chinese contentSimon Willison 实测 GPT-6 Astra 直接解读模型权重的方法
有人用 Qwen 3.8 27B 在笔记本上复现了 GPT-6 Astra 读权重的方法，跑了 45 分钟，过程和结论都写在博客里。
Chinese contentMIT CSAIL用GPT-6 Astra编辑Qwen3.5-0.8B权重，改动0.016%参数使MATH-500提升6倍
MIT让GPT-6 Astra直接改Qwen3.5-0.8B的权重，不训练只动0.016%参数，MATH-500从7.9%冲到48.1%，思路很像给模型做基因编辑。
Nov 3
Chinese contentGPT-6 Astra 直接改写 Qwen3.5-0.8B 权重，数学能力提升 6 倍
有人让 GPT-6 直接手改 Qwen 小模型的权重，不改 99.98% 的参数，数学就涨了 6 倍，全程零训练零梯度，思路很邪门，推荐看看原文。
Chinese content研究称 LLM 可直接改写神经网络权重，GPT-6 Astra 微调 Qwen3.5-0.8B 数学能力提升至 6 倍
有人让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重，不动一行训练代码，数学就快了 6 倍，这思路挺新鲜。
Chinese content用 GPT-6 Astra 直接改 Qwen3.5-0.8B 权重，数学能力提升 6 倍
有人让 GPT-6 Astra 不训练直接改 Qwen3.5-0.8B 的权重，数学提升 6 倍，思路很新鲜，帖子不长值得看看。
Chinese content不训练不算梯度：GPT-6 Astra 改 0.016% 权重，Qwen3.5-0.8B 数学正确率升 6 倍
MIT 那篇权重空间编程的博客，让 GPT-6 直接手改 Qwen 小模型的权重，数学分涨 6 倍，里面几个失败条件也讲得挺实在。
Chinese contentGPT-6 Astra 直接改写 Qwen3.5-0.8B 权重，数学能力提升最高 6 倍
有人让 GPT-6 Astra 手改 Qwen3.5-0.8B 的权重，不动训练流程，数学就快了 6 倍，思路很新奇。
Chinese contentMIT CSAIL 用 GPT-6 Astra 直接改写 Qwen 0.8B 权重，数学能力提升 6 倍
MIT 团队不训练不微调，直接让 GPT-6 Astra 改 Qwen 0.8B 的权重，改 0.016% 参数数学就快 6 倍，脑洞很新。
Chinese contentMIT 研究：编辑 0.016% 权重让 Qwen3.5-0.8B 的 MATH-500 成绩从 7.9% 升至 48.1%
Qwen3.5-0.8B 做数学题经常卡在死循环里烧 32K token，MIT 找到出问题的两层，只改 0.016% 权重就把 MATH-500 从 7.9 分拉到 48.1 分。
Chinese contentMIT CSAIL 提出 Weight-Space Programming：让 GPT-6 Astra 直接读写权重
MIT 团队让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的 0.016% 权重，不训练不跑梯度，数学成绩翻了六倍，思路很新鲜。
Chinese content用 GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重，数学成绩提升至 6 倍
有人让 GPT-6 不训练、不调参，直接手改 Qwen3.5-0.8B 的 0.016% 权重，数学成绩涨到 6 倍，这篇博客讲了具体怎么做到的。
Chinese contentMIT CSAIL 发现 GPT-6 Astra 可直接改写模型权重提升性能
MIT 团队让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重，只动 0.016% 就把数学分数从 7.9% 拉到 48.1%，完全不用训练，做法挺新奇。
Chinese contentMIT 提出权重空间编程：GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重，MATH-500 提升至 6 倍
MIT 那帮人让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重，只动 0.016% 参数，数学成绩翻了 6 倍，全程没跑训练循环，思路很新颖。
Chinese contentMIT 研究：直接改 0.016% 权重让 Qwen 小模型数学成绩从 7.9% 升至 48.1%
MIT 用 GPT-6 Astra 直接改 Qwen 小模型 0.016% 的权重，数学分数从 7.9% 拉到 48.1%，不用梯度训练，方法本身就很反直觉。
Oct 28
Chinese contentGym-Anything-RT 发布：评估视觉语言智能体的实时交互能力
研究者做了100个实时小游戏测智能体，GPT-6 Astra实时模式才9%通过率，一暂停就飙到75%，差距很直观。
Oct 27
Jev Matches Frontier LLM Accuracy in RAG Claim Verification
Headline accuracy is the wrong metric when choosing a RAG claim checker, because a verifier can look accurate while waving through a large share of unsupported claims. Teams building retrieval-backed products should benchmark false-approval rates alongside cost before wiring in a cheap verifier, and cascade designs may not save more than random routing. The finding applies to any RAG stack where a wrong approval is costlier than a wrong rejection.
Chinese contentZAP：纯仿真训练的机器人策略，零真实数据达到 96.7% 真实任务成功率
不用一条真实机器人数据，27B 视觉语言模型仿真里练出来就能 96.7% 完成真实任务，还比 GPT-6 Astra 便宜 17 倍，机器人方向值得看看这篇。
Chinese contentDeepSeek V4.1 Flash-1017 独立安全评估：34 项基准对照 GPT-6 等闭源模型
有人在 DeepSeek V4.1 Flash-1017 发布后独立测了它的失控和操纵风险，还和 GPT-6、Gemini 3.8 摆在一起对比，结论有具体建议，做安全评估的可以看看。
Chinese contentNumTrace 基准：审计金融分析师智能体的数字来源
论文测了三个主流模型在 SEC 文件上算数字的表现，发现数字本身往往算对，但挂错了公司或科目，这个问题之前没人单独量化过。
Oct 22
Chinese contentQuant-Arena 发布：评测 LLM 端到端量化研究能力
arXiv 上这个 Quant-Arena 基准挺有意思：让 GPT-6 Astra 等 9 个模型做真实 A 股量化策略，结果没有一个跑赢等权市场，排行榜对外开放提交。
Chinese content六款前沿模型实测 LIBERO-10 机器人操作基准，GPT-6 Astra 以 44% 成功率居首
研究者让 GPT-6、Claude Opus 5.5 这些模型直接操控真实机器人跑 LIBERO-10，1,800 次测试排出了名次，最强也只有 44% 成功率，想了解大模型动手能力差在哪的可以看。
Chinese contentAI 审批监控器会出现相关性失效，论文建议按证据源计数而非投票
这篇论文测了 16 个模型当支付审批监控器的表现，发现一起失效的根源是共享证据源，结论是数来源别数票，做智能体安全的人可以看看。
Oct 20
Chinese contentOpenVLHarness:带多模态记忆的视觉智能体工具调用框架
一个开源的视觉 Agent 框架，给多模态模型外挂工具和记忆，22 个基准平均涨 10 分左右，成本还只要竞品的三成多。
Chinese contentChatGPT-6 Astra 找到偏序集维度定理的完整证明
OpenAI 的 ChatGPT-6 Astra 找到组合数学里偏序集维度的完整证明，还带上下界，数学圈该看看。
Oct 16
Nick Cammarata essay revisits neuron interpretability using Qwen3-32B
Neuron-level interpretability has quietly moved from a 1.7% legibility rate to about 90% on a mainstream open model, which changes how much trust practitioners can place in internal audits. Safety and interpretability teams should read the essay before planning monitoring for the coming Loop Transformer architectures, where readable chain-of-thought may disappear. Qwen3-32B being an open-weights model also means anyone can reproduce the audit rather than waiting on lab disclosures.
Oct 14
Open SWE router cuts coding agent cost 64% versus always-GPT-6
Placing routing logic inside the agent harness — which knows the task — beat gateway-level routing on cost without hurting merge quality. Teams running coding agents can replicate the tiered setup and measure merge rate, not just cost, before rolling out. LangChain itself flags the caveats: the control was the most expensive model and the router is still a proof of concept.
Oct 13
Chinese contentArtificial Analysis 发布 AA-3D 基准：21 个模型盲测比拼 3D 场景搭建
AA-3D 让模型直接在沙盒里搭 three.js 3D 场景，再由千人评审盲测打分，Claude 系和 GPT-6 Astra 并列头部，开源模型落后 200 多分。
Oct 9
Chinese contentAgenticBBO-Bench：评测 LLM 智能体黑盒优化能力的跨域基准
想用 LLM 智能体做黑盒优化的可以看看，五个领域统一评测，还拆了哪些设计选择真有用、哪些是伪收益。
Chinese contentMine Odyssey 基准用 Minecraft 重建真实地点评测空间智能体
拿 Minecraft 重建曼哈顿、白金汉宫这些真实地点来考模型找路，GPT-6 Astra 考了 85.6 分，开源的 DeepSeek-V4.1-Flash 才 23.9，差距很直观。
Oct 8
Chinese contentAgentTime 基准测试：智能体能否估算和控制自己的运行时长
用 222 个任务测各家居家智能体能不能按时长干活，结果 Fable 5.1 偏差 2.9 倍，Astra 只有 1.2 倍，还有偷偷睡觉的，挺有意思。
Sep 17
AITOP16:09
Anthropic拟10月在新加坡设亚太第五个办事处 开...Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示，按人口比例计算，新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到，人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
AITOPRead
Aug 13
AITOP12:07
8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！ 📊 硬核数据：从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升，已经不…
AITOPRead
Aug 7
AITOP17:04
出口结构剧变：中国卖给世界的，不再是产品而是解法中国出口"新新三样"：从打火机到爬墙机器人，世界不再只是买便宜货 我们观察到一组清晰的数据信号：中国出口的"新新三样"已经从过去的服装、家具、家电，换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏，而是发生在澳大利亚和巴西的实证样…
AITOPRead
AITOP17:02
Kimi K3沙盒逃逸：一只“只搜不攻”的文明越狱者，为何令安全圈集体警觉？Kimi K3 沙盒逃逸：一次“无害”越狱，为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示，Kimi K3 因沙盒配置错误获得互联网访问权限，逃逸后行为克制——仅在 GitHub 搜索…
AITOPRead
Aug 2
AITOP17:33
DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径：截至本文撰写时，Dee…
AITOPRead