Products

微软发布 USB4 RDMA 开发者预览,多台 Win11 电脑合并算力跑本地大模型

微软公布 USB4 多 Win11 电脑协同 AI 方案,搭积木式叠加内存 / 显卡算力跑本地模型

Why we picked it

手里有几台支持 USB4 的迷你主机的话可以关注:不用买 RDMA 网卡和交换机,插线就能把内存和显卡算力拼起来跑 Qwen3-235B 这类单机装不下的模型。微软给了 AMD 和 Intel 两套实测数据,延迟只有以太网 UDP 的四分之一,自己动手搭本地推理集群的值得照着试。

微软于 11 月 19 日发布博文,以开发者预览形式推出基于 USB4 的远程直接内存访问(RDMA)体验,让两台或多台 Windows 11 电脑通过 USB4 线缆直连后协同运行一个 AI 模型,无需购买专用 RDMA 网卡或配置交换机。RDMA 让一台电脑直接读写另一台电脑中获授权的内存区域,绕过操作系统和 CPU 的数据搬运介入,主打低延迟、高吞吐和低 CPU 占用。

Body

性能方面,微软实测电脑间通信往返延迟约为 28 至 50 微秒,仅为同一 USB4 链路上传统以太网 UDP 方式的四分之一。初步测试中,三台各配 128GB 统一内存的 AMD 迷你电脑通过 40Gbps USB4 连接运行 4 位量化的 Qwen3-235B-A22B 模型,解码速度约为每秒 18.5 个词元(AMD 自测为 21.98);英特尔则用四台各配 64GB 内存的酷睿 Ultra Series 3 电脑运行 GPT-OSS-120B,在约 1000 词元上下文下达到每秒 54.2 个词元。

这套方案对没有数据中心级硬件的中小团队和个人开发者有实际意义:用多台消费级迷你机堆叠内存和 GPU 算力,即可跑动单机装不下的千亿参数量化模型。不过需注意配套推理框架兼容性、USB4 线缆拓扑以及上下文扩展时的首词元延迟(2K 上下文约 2.9 秒起)等实际限制。

Original · IT之家

微软公布 USB4 多 Win11 电脑协同 AI 方案,搭积木式叠加内存 / 显卡算力跑本地模型

IT之家 11 月 20 日消息,微软昨日(11 月 19 日)发布博文,宣布以开发者预览方式, 推出基于 USB4 的远程直接内存访问(RDMA)体验,实现多台 Windows 11 电脑合力跑 AI 模型体验。 IT之家注:RDMA 是让一台电脑能够高效地向另一台电脑中获授权的内存区域读写数据,减少操作系统和 CPU 在数据搬运过程中的介入,主要优势是低延迟、高吞吐和较低的 CPU 占用。 根据官方描述,两台或多台符合要求的电脑通过 USB4 线缆连接后,无需另购专用 RDMA 网卡或配置交换机,可借助兼容的推理框架,调动各自的内存和 GPU 算力,共同运行一个 AI 模型。 在延迟方面,微软测试显示,在单次传输数据量较小的情况下,电脑间通信的往返延迟约为 28 至 50 微秒,仅为同一 USB4 链路上传统以太网 UDP 方式的四分之一。 初步测试中,微软使用三台各配 128GB 统一内存的 AMD 迷你电脑,通过 40Gbps USB4 连接,运行 4 位量化的 2350 亿参数 Qwen3 模型,生成速度约为每秒 18.5 个词元;AMD 自测约为 22 个。 在三台搭载 AMD Ryzen AI Max+ 395 处理器的迷你电脑上,通过 USB4 实现 RDMA 性能: 测试方 模型与量化方式 上下文长度 / 生成词元数 解码速度(词元 / 秒) 提示词处理速度(词元 / 秒) AMD Qwen3-235B-A22B,4 位量化(Q4_K_M) 1,600 / 2,048 21.98 117.98 英特尔则以四台各配 64GB 内存的酷睿 Ultra Series 3 电脑运行 GPT-OSS-120B,在约 1000 词元上下文下达到每秒 54.2 个词元。 电脑数量(台) 上下文长度(词元) 首个词元生成时间(秒) 解码速度(词元 / 秒) 3 1K 1.1 49.4 4 1K 1.2 54.2 3 2K 2.9 49.4 4 2K 3.2 51.7

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Products" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Windows 11, USB4, RDMA, Qwen3.

Source attribution: curated from IT之家.