PapersSelected

布朗大学推出SwarmEvolve:Agent在潜空间直接通信,程序搜索吞吐量提升5-13倍

Why we picked it

布朗大学的新框架SwarmEvolve,450个Agent不写文字推理,直接靠KV Cache和隐藏状态交流,程序搜索速度是OpenEvolve这些文本通信框架的5-13倍。做自动化算法发现、程序搜索的团队可以关注这个省Token的思路。

布朗大学提出多Agent协作框架SwarmEvolve,让450个Agent跳过文字推理,直接在模型内部的潜空间交换信息,在单GPU每小时评估的候选程序数量达到OpenEvolve、ShinkaEvolve、CodeEvolve等框架的5-13倍。实验覆盖21个数学发现和科学计算问题,使用Qwen3 8B、14B、32B-FP8三档模型,测试条件统一为单GPU每次1小时。

Body

技术上,SwarmEvolve把Agent分成不同群体,分别负责已有数学构造、新算法思路和方案组合等方向。每个Agent执行40步潜空间推理,不生成逐步的文字CoT;系统用隐藏状态向量的余弦距离筛选差异较大的思路,再由各群体的汇总Agent读取成员的KV Cache,融合多个父代程序的探索信息生成候选程序。候选程序运行、打分、保留后进入下一轮进化,保留完整的生成-测试-筛选流程,只是把中间通信从自然语言换成模型内部表示。

当前主流Multi-Agent框架依赖Agent之间互发自然语言文本,几百个Agent并行探索时Token生成开销会迅速膨胀。SwarmEvolve展示了用KV Cache和隐藏状态通信替代文本通信的可行路径,对跑大规模程序搜索、算法发现的团队意味着更低的时延和算力成本。

Original · AIGCLINK

布朗大学:让450个Agent不用生成冗长的文字推理,直接在潜空间中交换思路,程序搜索吞吐量提升5-13倍

传统多Agent协作,通常需要每个Agent先生成一段文字,解释自己的思路,再把这些内容传递给其他Agent,由汇总Agent阅读、分析、整合

如果你要让几百个Agent不断探索数学构造、优化算法或者说改进科学计算程序,每个Agent都生成大量文字Token,就会迅速增加时间和计算开销

所以布朗大学提出了一个新框架:SwarmEvolve

它的核心思路是,让Agent不必把中间推理过程转换成文字,而是在模型内部的潜空间中探索,通过KV Cache交换信息,最后由汇总Agent生成可执行程序

简单说就是把多Agent协作从传统的文本通信,部分转向模型内部表示之间的通信

其实验结果: 在21个数学发现和科学计算问题上,用Qwen3 8B、14B、32B-FP8,对比OpenEvolve、ShinkaEvolve和CodeEvolve

在单GPU、每次1小时的测试条件下,每小时评估的候选程序数量达到其他框架的5-13倍

达到其他框架1小时成绩所需时间中位数仅3-8分钟

整个工作流程是: 1、每轮组织450个潜空间Agent 把Agent分成不同群体,分别研究已有程序和不同改进方向,有的尝试已有数学构造,有的探索其他算法思路,有的研究如何组合不同方案

每个Agent执行40步潜空间推理,不需要逐步生成文字CoT

2、直接在潜空间筛选不同思路 系统通过隐藏状态向量的余弦距离,筛选出差异较大的Agent。不需要先把所有思考过程生成文字,再让另一个模型逐一比较

3、通过KV Cache实现跨Agent信息交换 每个群体的汇总Agent读取筛选后成员的KV Cache,融合来自不同父代程序的探索信息,生成新的候选程序

4、自动评估,再进入下一轮进化 运行新程序、计算得分,保留表现较好的候选方案,再继续搜索和优化。整个过程仍然保留程序生成、测试和筛选,只是减少了中间大量文字推理与通信的开销

现在大量Multi-Agent框架依赖自然语言通信,SwarmEvolve等于说给了一条新路径

#SwarmEvolve #MultiAgent #潜空间推理

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include SwarmEvolve, Qwen3, Multi-Agent, 潜空间推理.

Source attribution: curated from AIGCLINK (@aigclink).