ModelsSelected

Meta与KAIST推出Virtual-Flow:4个麦克风模拟16麦阵列降噪效果

Why we picked it

小设备麦克风太少,降噪一直做不好,Meta和KAIST这个方法用算法虚拟出12个麦克风,4个真麦就能逼近16麦阵列的效果,延迟只有16毫秒。做耳机、眼镜、助听器音频的工程师应该仔细看看论文。

Meta Reality Labs与韩国科学技术院(KAIST)联合发布Virtual-Flow,一种基于流匹配(flow matching)生成的声音增强方法。它通过4个真实麦克风的录音直接生成12个虚拟麦克风的音频信号,合成后等效于16麦阵列的收音能力。

Image · Gorden Sun
Body

技术上,研究团队用真实录音的时间延迟叠加来构造训练目标,避免了在虚拟位置摆放大量真麦克风采集数据的成本;再结合Reflow蒸馏技术,把音频生成压缩到单步计算。整套方案延迟仅16毫秒,计算开销低于同类生成式语音模型,可满足实时通话需求。

在实际测试中,四周同时存在多个干扰人声和背景噪音的房间里,系统能清晰提取前方说话者的声音并大幅压低噪音和回声。蓝牙耳机、AR眼镜和助听器等受限于体积只能装2到3个麦克风的穿戴设备,可以用这套方法获得接近大型麦克风阵列的降噪表现。

Original · Gorden Sun

Virtual-Flow:让只有几个麦克风的小设备也能拥有多麦克风阵列降噪效果的AI声音增强方法

蓝牙耳机、AR眼镜和助听器等穿戴设备受限于体积,只能塞进少数几个物理麦克风,导致在嘈杂环境中通话时很难准确区分人声和周围噪音。

Meta Reality Labs与韩国科学技术院的研究团队基于流匹配生成技术开发了Virtual-Flow,通过4个真实麦克风的录音直接生成12个虚拟麦克风的音频信号;研究团队用真实录音的时间延迟叠加构造训练目标,省去了在虚拟位置摆放大量真麦克风采集数据的麻烦,结合Reflow蒸馏技术把音频生成压缩到了单步计算。

用上这套方法后,设备硬件上只有4个真实麦克风,实际收音和降噪表现却能接近装有16个真实麦克风的大型阵列。在四周同时有多个干扰人声和背景杂音的房间里,系统能把前方说话者的声音清晰提取出来,大幅压低环境噪音和回声。同时,这套方案的计算开销远低于同类生成式语音模型,也能适配只有2到3个麦克风的眼镜或耳机设备,在16毫秒的超低延迟下满足实时通话需求。

论文:https://t.co/FljgExKrDs

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Virtual-Flow, Meta Reality Labs, KAIST, flow matching.

Source attribution: curated from Gorden Sun (@Gorden_Sun).