并行计算正从传统高性能计算领域向AI智能体系统深度渗透，近期研究与实践围绕智能体并行协作、神经网络并行优化及硬件加速三个方向展开。
- 主要进展：
- 智能体协同并行：Y Combinator孵化的Zenbu IDE支持开发者并行运行多个编程智能体，并可通过插件扩展功能（Zenbu：面向编程智能体的可扩展IDE）。类似地，Superset IDE实现了数百个智能体的并行执行，据称将PR审查效率提升10倍（Superset 开源 IDE）。Kimi K2.6 Agent Swarm则支持300个并行子智能体协同工作（Kimi K2.6 Agent Swarm）。
- 架构与方法创新：APWA提出了面向可并行化智能体工作流的分布式架构（APWA）；PopPy则自动为Python复合AI应用挖掘并行加速机会（PopPy）。此外，多列RBF神经网络结合自适应与非自适应粒子群优化展现了并行神经网络的训练潜力（多列RBF网络）。
- 硬件加速突破：Google DeepMind提出的并行化反事实遗憾最小化算法，在GPU上比CPU快四个数量级（并行化反事实遗憾最小化）。Multi-Stream LLMs则通过并行流打破语言模型的单线程瓶颈（Multi-Stream LLMs）。
当前焦点：如何高效组织大规模智能体并行协作，同时避免通信开销和资源竞争，成为研究热点。未来可观察：并行框架的标准化、混合精度与异构计算在LLM训练中的普及，以及分布式并行系统在低资源设备上的部署方案。