Claude Code 团队公开内部代码审查流程:AI 审 PR,人只签高风险改动
Claude Code 团队是如何做代码审查的? https://t.co/2J6JYFX8HF “Clark,你给我的 PR 盖章,我就给你的盖章。” 这是半年多前 Anthropic 内部的日...
Anthropic 把自己线上真实事故做成评测集来考审查智能体,这个思路很少见。效果有数字:问题检出率从 16% 到 54%,回滚少了 40%。正在被 PR 审查淹没的团队可以直接抄这套流程。
Anthropic Claude Code 团队产品经理 Morgan Lunt 分享了他们把代码审查交给 AI 智能体的做法。改用自动审查后,查出实质问题的 PR 比例从 16% 升到 54%,合并 PR 数量翻倍,需要回滚的 PR 减少 40%,目标是 90% 的 PR 合并时不需要原作者以外的人参与。
流程核心是六层防护:写代码的会话内先自测、子智能体复查,PR 提交后由托管的 Claude Code Review 做深度审查,再过安全审查、常规自动检查,最后按风险分级决定是否需要人签字。评测集不用合成 bug,而是用 Anthropic 历史上全部真实线上事故和引发事故的 PR,让审查智能体回到那个时间点重审,看能否定位到出错的具体文件和行号,用召回率和精确率两个指标评分。
团队踩过的坑包括:多个工程师各写的审查机器人在同一个 PR 上意见冲突,导致上百次提交偏离原意,后来合并为一个主审查智能体做去重和排序;为解决智能体越修越挖的收敛问题,要求一次报完所有发现,现在九成以上 PR 三轮内收敛。涉及账单、自动更新等高风险改动仍需第二人批准,由模型根据改动是否触及业务逻辑来判断。
Claude Code 团队是如何做代码审查的? https://t.co/2J6JYFX8HF “Clark,你给我的 PR 盖章,我就给你的盖章。” 这是半年多前 Anthropic 内部的日...
Claude Code 团队是如何做代码审查的? claude.dev/blog/solving-c… “Clark,你给我的 PR 盖章,我就给你的盖章。” 这是半年多前 Anthropic 内部的日常。Claude 写代码越来越快,等人审的改动排成长队,大家只好互相放行,看是谁提交的,扫一眼就批准。 Claude Code 团队的产品经理 Morgan Lunt 在这场分享里把那段时间叫作“歌舞伎表演”,审查的形式还在,其实大家只看了个大概。 后来他们让 AI 智能体接手了绝大部分审查,人只在少数高风险改动上签字。目标是 90% 的 PR 合并时,除了让 Claude 干活的那个人,不需要再找任何人。 Lunt 给出的结果是:改用自动审查后,查出实质问题的 PR 比例从 16% 升到 54%,合并的 PR 数量又翻了一倍,需要回滚的 PR 少了 40%。在他看来,这和自动驾驶是一个道理,用不着完美,比人强就够了。 瓶颈从写代码转到了审代码 PR(拉取请求)是程序员提交一份代码改动、请别人检查后再合并进主代码的流程。Lunt 说,一年前 Anthropic 和别的公司一样,几乎每个 PR 都由人来审,代码产出的速度就是人写代码的速度。 大约九个月前,模型强到可以独立做完一个功能,大家开始直接把任务丢给 Claude,产出一下子多了很多,审查就成了最慢的环节。他引用了一项哈佛的研究:企业引入 AI 编程智能体后,PR 等待审查的时间平均增加了 56%。他读那篇论文的理解是,PR 太多,人被淹没了。 Anthropic 的工程师擅长做智能体,于是很多人各自写了审查机器人,把自己审代码时关注的点写进去。结果一个 PR 上会出现七个机器人,意见互相冲突,一个机器人要的改动会惹另一个机器人不满,来回改出五十、一百甚至两百次提交,改到最后已经偏离了作者原本想做的事。 问答中他解释,冲突的原因是各个机器人关注的方向不同,有的对接口怎么设计要求很细,有的不管,而它们之间没有共享的上下文和共同的目标。他们后来把这些机器人的关注点合并进一个主审查智能体,由它在内部去重、整理。 大约今年 7 月,Claude Code 的创建者 Boris Cherny 找到 Lunt 的团队,让他们“把 Anthropic 的代码审查问题解决掉”。 团队给自己定的目标就是开头说的 90%,并按需要几个人参与把 PR 分成三类:零人参与,是 Claude 自己发现问题、自己修、自己提交、自己盯到合并;一人参与,是某个人让 Claude 做了一件事,自动系统判断没问题就直接合并,不用再找人;两人及以上,留给账单、用户登录验证、应用自动更新这类绝对不能出错的地方,而且范围尽量收窄。 同时有一条底线:回滚、紧急补救和线上事故都不能因此变多。 用自己出过的事故来检验审查 要知道审查智能体好不好,得有一套考题。他们把 Anthropic 历史上所有线上事故,以及被认定引发事故的那些 PR 整理成评测集,再请人抽查核对,没有用人为埋了 bug 的合成数据。这样考的都是在自家代码上真实出过问题的情况。 每道题的格式很简单。Lunt 现场展示了一个例子:某个 PR 合并后有客户收到了两次同一张发票,只好回滚,原因定位在某个文件的第 88 行。这道题记录的就是代码仓库在那个时间点的版本号、PR 编号、出问题的文件和行号,以及正确答案。成千上万道这样的题,就是评分标准。审查智能体被放回那个时间点去审那个 PR,看它能不能找到那一行。 衡量时看两个数。一个是召回率:标准答案里列出的问题,它找到了多少。另一个是精确率:它报出的问题里,有多少是标准答案之外、大概率不该报的。只看召回率不行,因为让智能体随便报五十万条,迟早会撞中所有答案,但真正有用的提醒就淹没在噪音里了。 在这套考题上,他们试了不同的提示词,不同的检查角度(比如专门找某类安全漏洞,或者专门找“同一个操作执行两次会不会出错”这类问题),以及不同的智能体分工结构,跑了几万到几十万次。方法就是反复试:改一处,成绩变好就留下,变差就扔掉。Lunt 说 Claude 让同时跑大量实验变得很容易。 最后定下来的流程是:先派出一批负责找问题的智能体,再派出一批负责“挑刺”的验证智能体,专门质疑前者的发现,确认是真问题;然后按严重程度排序、去重,作为评论贴到 PR 上。发现分三档:重要问题会阻止合并;小问题(nit)不阻止,留着以后想集中清理时再翻;还有一档是改动之前就存在的老问题。完全无关紧要的,在验证阶段就被删掉。 让找问题的智能体适可而止 Lunt 说他为“收敛”这件事钻研了三个星期。智能体被要求找问题就一定会找到问题,被要求修问题就一定会去修。让一个智能体找问题、另一个修,再问前一个“现在怎么样了”,它会接着找出越来越偏门、越来越鸡毛蒜皮的毛病。有段时间,智能体整夜来回找、修,一个 PR 上积累几十上百次提交,偏离用户的原意,也没人看得懂。 他们的调法是让审查智能体一次把所有发现都报出来,修完之后不再越挖越深。他说现在九成多的 PR 在三轮“审查、修复”之内就能收敛,但为此在提示词上花了不少功夫。 哪些改动还需要人看 审查之后还有一步风险分级,由一个机器人根据 PR 改了哪些文件、改了多少来决定要几个人批准。只改文档、影响面小的,直接通过;普通改动,让 Claude 干活的那个人负责就够了;涉及账单、自动更新这类高风险部分,要第二个人签字。 他们最早用的是“代码负责人”配置文件,按文件路径规定某个目录下的改动需要一个人还是两个人批准。Lunt 说这个办法太粗,后来又加了一层由大模型做的判断。比如账单相关的代码,如果改动涉及业务逻辑,就要另一个人签字,如果不涉及就直接放行。 他演示的三个例子是:修改安装指南里的错别字,不需要额外审查;给订单列表加一个日期筛选,需要一个人,因为碰到了订单;改发布流程,要发布团队的人点头,因为影响面大。权限也按团队分,他在 Claude Code 代码仓库里能做的事,其他团队的人不一定能做。 整条流程他称为六层:Claude 写代码的同一个会话里先自己跑测试、修失败、再派一个上下文干净的子智能体复查;PR 提交后由托管的 Claude Code Review 做深度审查;再过一遍安全审查;然后是常规的自动检查和测试;只有真正需要的 PR 才找人批准;最后合并。 他把这叫作“瑞士奶酪”式的防护,每一层都有漏洞,叠在一起就很难漏过去。此外,Anthropic 的产品大多通过网页和自己控制的 App 发布,新功能上线默认是关着的,先开给少量内部测试者,再开给更多外部测试者,最后才全面开放。出了问题,几分钟内就能对所有人关掉,不用改代码。 审查发现问题之后,修复也要自动化。Lunt 说内部有人用 Claude Tag,有人自己写了“盯 PR”的技能,让写这个 PR 的 Claude 会话定时去 GitHub 看有没有审查意见要处理。他的理由是,修复如果还要等人醒着、有空,提速就无从谈起。 问答中,团队的工程师把审查要回答的问题分成三层:最底层是代码风格和整洁程度;中间一层是假设这个改动的方向是对的,它写得对不对、安不安全;最上层是这个功能该不该做、方向对不对。自动审查擅长的是中间这层,最上层留给人。Lunt 补充说,他们刻意不让审查智能体管得太宽,不会因为它觉得不妥就拦住你明确要做的事,所以防止有人往代码库里塞恶意改动,仍然要靠团队自己。 普通团队可以怎么照着做 Lunt 建议想引入自动审查的团队,先用自家的事故记录建一套评测集。大多数公司都有事故追踪系统,让 Claude 从里面提取被认定引发事故的 PR 编号,按上面的格式整理,他估计几天就能做完。之后可以拿它比较不同的审查产品,也可以拿它调审查规则。他说自己对 Anthropic 的产品很有信心,但不希望大家凭他的感觉选产品,更希望各家用自己的评测证明这些工具可靠,有了这个底气才能放心撤掉人工检查。 工程师补充了一个更简单的检验办法:拿以前人审过的 PR,让自动审查回到那个时间点再审一遍。人当时提了三条意见,看它是不是都找到了,或者找到了更重要的;它没找到的那些,再看是不是真的重要,还是只是小问题,或者最后证明什么事都没有。 具体调法上,用 Claude Code Review 的仓库可以在根目录放一个 REVIEW.md 文件,专门写给审查智能体看:哪些问题要重点查,哪些不用管。比如自动生成的代码不用看,代码风格已经有自动检查工具管了不用提,小问题最多报几条,发现要按什么格式写,方便交给负责修复的智能体。Lunt 现场演示了加规则前后的对比,加之前是一条重要问题加一串小问题,加之后只剩重要问题。原来的 CLAUDE.md 则继续写所有参与这个仓库的人和智能体都要遵守的规矩,比如用 Tab 还是空格、按什么原则分层。审查时也会检查改动有没有违反 CLAUDE.md 里的规矩。 规则还可以持续改进。Anthropic 内部有每周自动运行的任务,专门去翻人在 PR 上留的评论,Lunt 说现在这类评论已经不多了。如果有人回复审查意见说“这其实不是问题,因为……”,任务会从中提炼出规则补进 REVIEW.md,下次就不再犯同样的错。他说这类反驳意见是非常有用的反馈,团队偶尔抽查一下 PR、在不同意的地方留句评论就够了。 在内部推广时,Lunt 说 Anthropic 的人都看数据,他们把评测里和每个团队相关的事故单独挑出来,给那个团队看效果,大家很快就有了信心。另一个原因是很多人早就不想再维护自己的审查机器人了,交出去之后,审查出了问题直接找他们团队修就行。工程师补充说,各团队都有自己盯着的指标,比如回滚和紧急补救的次数、事故数量、稳定性有没有下降,交出审查之后这些都要看,而大家的效率普遍提高了。 审查放心之后,能做以前不敢做的事 Lunt 说,当你确信审查流程能挡住一切不合格的改动,不管进来什么改动都不怕出事,工作方式就变了。别的团队急需你代码库里的一个功能,不用等你排期,可以直接提一个 PR,在 Slack 上打声招呼,不符合你们团队标准的改动反正合并不进去。 他自己想验证一个功能怎么呈现给用户更好时,会一次做出五个版本,在大量用户中做 A/B 测试,按数据选一个上线。Boris 还设了每天自动运行的任务,持续尝试缩短 Claude Code 命令行工具的启动时间,测出来确实变快、又没有拖累其他指标的改动就合并。 Claude Code Review 本身在今年 3 月开放公开预览,10 月中旬正式发布,正式版是在内部这套系统的基础上重写的,外部用户用到的和 Anthropic 内部用的基本是同一套。预览时审一个 PR 大约 25 美元,正式版按审查深度分三档,每次 5 到 25 美元。 在命令行和桌面 App 里用的 /code-review 是快速版,因为边写边审的人不想等十几二十分钟;PR 提交后自动触发的托管审查才是深度版,想在本地跑深度版可以用 ultra review。审查默认先只看改动本身,需要时再去看仓库里的其他代码;目前只能访问单个仓库,跨仓库的权限还在和隐私团队商量。 工程师说,他们试过给审查智能体更多工具、更多上下文、让它实际运行代码,大多没有带来提升,反而增加了成本、时间和复杂度。至于用哪个模型、什么推理强度,Lunt 说每出一个新模型答案都会变,现在内部的经验是 Opus 5.5 中等强度用起来性价比最高,团队会持续评测、调好默认配置。 他把在 Claude Code 团队工作比作在海边堆沙堡,做好的辅助结构会被下一代模型的能力冲掉,所以他不意外代码审查在不久后变成一个完全解决了的问题。分享开头的现场投票里,77% 的听众说审查是整个开发流程里最痛苦的一环。
This report is categorized under AITOP's "How-to" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Claude Code, Anthropic, agents, code review.
Source attribution: curated from 宝玉 (@dotey). Cross-source corroboration: 11 independent sources have covered this development (including AI Will, Claude Code: GitHub Releases, Windsurf), confirming industry-wide signal strength.