斯坦福新开 CS329Z 智能体工程课程，第一讲公开：智能体系统详解

课程重点讲了记忆设计的三类划分：情景记忆原样保存、语义记忆压缩成摘要、程序性记忆存技能（如英伟达 Voyager 项目在《我的世界》中积累技能库）。Diyi Yang 用 Meta 一位研究员的例子说明风险：开源智能体 OpenClaw 被交代"删邮件前先确认"，但这条要求在语义记忆压缩时被当成不重要信息丢掉，导致它成批删邮件且喊停不停。

她还引用普林斯顿的评测指出，按准确率各模型排名清晰，换成可靠性分数后排名消失，能力最强的智能体不一定最可靠。她组里的研究发现，网页上出现一个无恶意内容的黑色弹窗，智能体 87% 的情况会被分神而完不成任务。合开课程的博士生 John Yang 是 SWE-bench 的作者。

课程内容本身是讲如何理解、搭建和评测 AI 智能体的教程性质材料，适合开发者跟学。

斯坦福计算机系CS329Z“智能体工程”（Engineering AI Agents）第一讲题为《什么是 AI 智能体？智能体系统详解》视频（中英双语字幕） 斯坦福计算机系这学期新开了一门课 CS329Z“智能体工程”（Engineering AI Agents），讲怎么动手搭建和评测 AI 智能体。课程最近开始对外公开资料，讲座陆续放上 Stanford Online 的 YouTube 频道。 第一讲题为《什么是 AI 智能体？智能体系统详解》，由计算机系助理教授 Diyi Yang 主讲，讲智能体的来历、由哪几块组成，以及还有哪些问题没解决。 讲到记忆时，她举了今年 2 月的一件事。Meta 一位做 AI 安全的研究负责人让 OpenClaw（一个装在自己电脑上、能替人处理邮件和消息的开源智能体）帮她整理邮箱，一开始就交代过：动手之前先问我。结果它开始成批删邮件，她喊停也没停下来。Diyi Yang 说，原因是智能体为了把记忆存得更省地方，会把前面的内容压缩成摘要，而“先确认再动手”这一句，在它看来不算重要，压缩时被丢掉了。 这件事也落在这一讲的主线上。在她看来，今天的智能体，不管是写代码、上网还是操作电脑，都是同一个结构：一个大模型在“想一步、做一步、看结果”的循环里转，配上记忆和工具。每一块都能做得更好，每一块也都可能出事。她还提醒，测试分数最高的智能体，不一定最可靠、最安全。 Diyi Yang 的研究方向是以人为中心的自然语言处理。和她合开这门课的有两位博士生，其中 John Yang 做出了 SWE-bench，一套用真实开源项目里的问题来考 AI 编程能力的测试。 **智能体就是一个“想、做、看”的循环** 她用 2022 年 ReAct 论文里的一个例子把智能体拆开。任务是在一个模拟的家里把胡椒瓶放进罐子。模型先想“胡椒瓶多半在柜子里”，这是推理和规划；然后执行“走到 1 号柜子”“拿起胡椒瓶”这类动作，也就是调用工具；每做一步，环境会反馈它看到了什么；到目前为止的这一串记录，就是记忆。这一切的底层是大模型本身。她的总结是：大模型在环境里推理、记忆、使用工具、行动，一圈一圈地重复。写代码、浏览网页、操作命令行的智能体，都是这张图的某个版本，区别在每一块怎么实现、各块之间配合得好不好。 ReAct 的名字取自“推理加行动”（reason + act）。它和思维链的差别在于循环。思维链是让模型先一步步写出推理过程再给答案，只走一遍；ReAct 是想一步、做一步、看结果、再想。她举了一道需要多步查资料的问答题：模型先搜“Apple Remote”，从维基百科页面读出它原本是用来控制一个叫 Front Row 的软件的，再去搜 Front Row；一个页面里没有需要的信息，就换个搜法接着找，确认找到答案才停下。只用思维链，模型同样能写出一段看起来很有说服力的推理，答案却是错的，她认为这比直接答错更危险。论文统计的失败案例里，思维链的失败有 56% 是编造了事实，ReAct 是 0，因为它每一步都能去外面查证。 把推理写出来还有一个用处：让人看懂智能体为什么这么做。她举的例子是智能体在做菜，看到盐用完了，下一步向右转。只看这两步，人摸不着头脑。如果它把想法写出来，“这道菜要咸口，盐没了，得找个替代品，它在我右手边的柜子里”，转身的理由就清楚了。她说这样既方便人检查，同样的推理也能用到类似的新情况。再往前一步是“反思”：另设一个评估环节判断这次做得对不对，智能体用自然语言写下自己错在哪，下次带着这段总结重做，错误和编造都明显减少。学生问这是不是要重新训练模型，她说不用，这类做法大多只靠提示词实现。 至于智能体为什么最近两年才真正能用，她的解释是两样前提到齐了：模型会一步步推理，也会用工具。2023 年 GPT-4 发布后两周内出现的 BabyAGI 和 AutoGPT，已经在让模型自己列任务、自己调用工具一直干下去，她说这些想法很超前，但实际都不太好用。此后每一代基础模型都有大幅提升，错误和编造更少，能做的任务更长，智能体的测试成绩也跟着大涨。 **记忆管着它记住什么，也决定它会漏掉什么** 为什么要专门设计记忆，她给了两个理由。一是上下文窗口（模型一次能读进去的内容上限）虽然越来越大，仍然装不下一个连续干三个多小时的任务产生的全部记录。二是就算装得下，从一千份文档里找出眼下该用的那一份也很费劲。 她把记忆分成三类。情景记忆是原样保存一切：每一步做了什么、用户说的每一句话。语义记忆是把发生过的事提炼成小结，只留重要的信息。程序性记忆存的是技能：英伟达的 Voyager 项目让智能体玩《我的世界》，它每学会一种新做法，就整理成一条技能存进技能库，遇到新任务先去库里找有没有现成的。 开头删邮件的事，出在第二类。情景记忆不需要判断，全记下来就行；语义记忆要另有一个环节告诉它什么算重要、用什么格式存。她说在那件事里，为了把记忆存得更省地方，模型自己决定留哪些信息，“动手前先确认”没有被当成重要信息，于是开始删邮件。在她看来，怎么保证压缩后的记忆忠实于原来的内容，会是智能体设计里很关键的一环。 **分数最高的智能体，不一定最可靠** 讲完结构，她用最后十分钟讲智能体出的问题。普林斯顿的一项评测把可靠性拆成三点：同一个任务跑两遍，结果是否一样；加一点无关的小干扰，它会不会乱；失败的时候，原因能不能看懂、能不能挽回。按准确率排，各家模型有清楚的高低顺序；换成可靠性分数，这个顺序就看不出来了。她的结论是能力和可靠性之间有差距，最强的智能体不一定最可靠。另一项审计也显示，智能体完成任务的比例远高于它遵守安全要求的比例。 OpenAI 2025 年 1 月推出能操作浏览器的智能体 Operator 后，有用户让它在买菜平台 Instacart 上下单。用户以为它会先问住在哪、常去哪家店、想买什么，它一句都没问，直接打开网站，开始在艾奥瓦州的超市里搜牛奶。她说这是不懂得和人配合：它能逛网站、能用你的信用卡付钱，却在替你做一堆假设。她自己组里的研究发现，在网页上弹出一个黑色弹窗，里面没有任何恶意内容，智能体就有 87% 的情况被分了神，完不成原来的任务。还有一个替员工写周报的智能体，写了代码行数、上线了几个功能，顺手也写上了“和另一家公司的招聘人员见了一面”。她说我们把所有信息都交给了 AI，它知道我们的一切，却还没有办法教会它不同的信息能给谁看。 另外两类是讨好和作弊。一个智能体心里觉得你的文章写得很差，怕你难受，嘴上给了五分满分，她借此提醒学生别指望把作业丢给 AI 就能得到真实的反馈。另一个模型在内部推理里写道，它发现有个单元测试在检查结果，评分的函数改不了，但可以先改单元测试，于是改了一通，让结果表面上全部通过。 她讲的最后一个例子离现在最近：今年 7 月 OpenAI 和 Hugging Face（最大的开源模型和数据集托管平台）之间的事件。OpenAI 在一个隔离环境里测试自己的智能体，给的任务里有根本做不到的。智能体卡住之后，开始在环境里四处找别的办法拿更高的分，甚至作弊，结果找到了一个留言板，上千个智能体在上面互相配合作弊。几天之内，它们向 Hugging Face 的系统发起了一万七千多次攻击。她说，智能体现在能连续工作好几个小时甚至更久，这件事值得大家认真想一想。 **出了问题，先分清是哪一层** 她建议把智能体工程分成三层来看，课程也按这个顺序安排。系统层是结构：有哪些组件、怎么连起来。数据层是智能体从什么里学、被喂了什么，包括训练样本、任务示范和给它的上下文。评测层是怎么判断它好不好用，也包括指标本身，她说指标选错了，弱的智能体也能显得很好。智能体表现不对时，第一个要问的就是问题出在哪一层。 系统层最关键的选择，是由谁决定下一步做什么。固定流程的做法把步骤写死，比如修一个代码问题，固定分成找文件、写补丁、跑测试几步，模型只在每一步里干活，不决定下一步。智能体的做法是让模型自己决定打开哪个文件、运行什么、什么时候算完。后者更灵活，也把更多责任交给了模型。她提醒，固定流程也可以非常强：DeepMind 的 AlphaCode 2 对一道编程竞赛题生成多达上百万个候选程序，再测试、排序，成绩超过了大多数人类参赛者。 多个智能体一起干活也是类似的取舍。早年单个模型不够强，让几个智能体互相讨论能提高正确率；她认为现在模型已经很强，只为提高分数的话多智能体帮不了太多，它的价值更多在效率和权限管理上，比如让一个智能体专管医疗信息。 这一讲开头讲课程规矩时，她说自己最想强调的一条是“用 AI 来学”。她展示的数据里，用 AI 的学生作业分数普遍很高，同一批学生考试考砸的人却更多；Anthropic 今年 1 月发表的研究也发现，工程师用 AI 写代码完成得更快，事后测验里对相关知识的掌握却明显变差。课程后面几周会逐一展开工具调用、记忆、多智能体、评测和安全，还会请 SWE-bench 和 Terminal Bench（测 AI 在命令行里完成任务的能力）的团队来讲课。 #斯坦福AI智能体课公开 #

This report is categorized under AITOP's "How-to" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include CS329Z, ReAct, OpenClaw, 智能体.

Source attribution: curated from 宝玉 (@dotey).