PapersSelected

CMU 17-214 第 21 讲:Agent 改 2000 行代码后,检查怎么做流水线门禁

Why we picked it

卡内基梅隆这门 Agent 开发课的讲义免费公开,讲透了 AI 出码变快后审查跟不上的解法。静态动态检查怎么搭配、哪些检查该拦合并、怎么防 Agent 绕过检查,都是写得很具体的内容,写代码的人都能直接照着搭。

CMU 17-214「Agentic Software Development」课程第 21 讲「Verification in the Pipeline」讨论的核心场景是:有人带着 Coding Agent 一下午开出一个改了 2000 行的 PR,人工认真审完仍要几个小时,代码生成变快而审查速度没变。讲义主张把测试、类型检查、代码检查做成持续集成的合并门禁,检查只写一次,之后每次改动自动运行。

Body

讲义用一段预订代码区分动态检查和静态检查:测试里伪造的通知发送总成功,测试全绿,但代码没等待发送结果,邮件服务一旦失败,未接住的错误会让整个进程退出,已写入的预订和同进程的其他请求一起失败——这类问题静态分析不跑代码就能报出来。项目约定可写成自定义规则,报错时附上修改建议,Agent 能按提示改。讲义还引用 Google 和 Meta 的做法:检查结果放进代码审查的修复率远高于夜间清单,会打断构建的检查本身几乎不报错。

针对 Agent 的特点,讲义指出规则可以更严,因为 Agent 不在乎一次读多少条;但也提醒 Agent 可能加抑制、写成 any 或调低覆盖率门槛。能拦住合并的应是跑得快、结果稳、失败基本即有问题的检查,不稳定的测试要修根因而不是靠重跑蒙混。配套的 Lab 12 和作业 A6 让学生自己把门禁接进持续集成和部署。

Original · shao__meng

CMU 17-214 第 21 讲:Agent 一下午改 2000 行,就把检查做成流水线门禁 CMU 17-214「Agentic Software Development」课程认为,有了 Coding Agent 之后,写出看起来像样的代码已经不贵了,难的是理解、验证、演化,以及把一套软件真正跑起来。整个学期都围着同一个系统做设计和改版,并一直监督 Agent。第 21 讲「Verification in the Pipeline」接在 DevOps 后面,接下来是实验课 Lab 12,让学生自己搭一套持续集成门禁,还有作业 A6,要把系统真正跑起来,并给每次改动加上检查和部署。 课程: cmu-17-214.github.io/f2026/ 第 21 讲讲义: raw.githubusercontent.com/CMU-17-214/f20… 门禁要跟上 Agent 的出码速度 讲义里举了个场景:预订团队有人带着 Agent,一下午就开出一个改了 2000 行的 PR。认真审完还是要几个小时。代码生成变快了,审查速度几乎没变。所以他们主张把检查做成每次改动都会跑的门禁,测试、类型检查、代码检查都可以用来拦住合并。一条好的检查,要能在这次改动里把这类问题找全,以后每次改动也能再找一遍。检查本身只写一次,之后每次持续集成多花一点时间就行。 动态检查是把代码跑起来看结果,静态检查不跑代码,但能分析测试没走到的路径。两类检查抓住的问题不一样,所以大多数流水线会两头都做。讲义用一段预订代码说明这一点。测试里伪造的通知发送总是成功,所以测试全是绿的。可代码并没有等待发送结果:一旦邮件服务失败,这个没被接住的错误,默认会让整个进程退出。这时预订已经写入了,这个进程上正在处理的其他请求也会一起失败。这类问题,代码检查不用跑测试就能报出来。 静态检查要少误报,也要防被关掉 项目里的约定可以写成自定义规则,报错时直接写上该怎么改,这样会跑检查的 Agent 也能按提示修改。分析器没法判定程序里所有真正要紧的性质,漏报和误报都会有。大多数工具宁可少误报,因为经常报错的检查,人就会不当回事。至于同一间房不能重复预订这类业务规则,还是得靠测试、类型或者自定义规则来管。 讲义引用了 Google 和 Meta 的做法:把检查结果放在代码审查里,修复率比丢在夜间清单里高得多;会打断构建的检查,本身几乎不能报错。这些要求当初都默认每次发现都会有人去读。Agent 不在乎一次要读多少条,规则可以更严,成本也不会明显变高。可它也可能随手加上抑制、写成 any 或 as,或者把覆盖率门槛调低,检查是通过了,问题却没修好。所以上新规则时,常用基线只拦住新出现的问题;做抑制时要把理由写清楚;改检查配置的 diff,也值得多看一眼。类型相当于能被机器核对的规格:不存在的方法调用它能抓住,可一个真实方法被用错了含义,它看不出来。 哪些检查该拦住合并 更省事的测试应该先跑,也跑得更勤。测试不稳定,常常是因为等待时间或共享状态没控制好,应该把根因修好,或者暂时把它从必过检查里拿掉,别靠反复重跑把失败蒙过去。覆盖率下限只能说明代码被执行到了;如果代码和测试都是 Agent 写的,这些测试有时只是在确认代码做了它已经做的事。 能拦住合并的,应该是跑得快、结果稳、一旦失败基本就能认定有问题的检查。如果失败了还得再判断该不该管,就先报告,先别急着拦。拦住部署比拦住合并麻烦得多:有些检查代码没改也会变红,系统出故障时,又慢又不稳的检查还会拖住修复。检查可以对着这 2000 行同样跑一遍,人就能把时间花在设计好不好、规格对不对、某个依赖该不该信上。当然,这得先保证这些检查本身靠得住。Agent 最好在本地先跑同一套检查,但流水线还是要再跑一遍。Agent 给出的审查意见可以当参考,不少团队不会只凭这一条就拦住合并。Lab 12 和 A6 接下来就让学生自己把门禁接进持续集成和部署。📊 10 ⚡

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include CMU 17-214, Coding Agent, software engineering.

Source attribution: curated from shao__meng (@shao__meng).