Industry

微软申请专利:AI 可实时修改直播语音并重绘嘴型

微软申请新专利:AI 实时修改直播说话内容并同步嘴型

Why we picked it

微软给直播加了个嘴型同步的实时改词系统,延迟才 1 到 10 秒,连翻译都能对口型,不过还在专利审查阶段。

微软提交了编号为 US 2026/0341309 A1 的专利申请,提出用 AI 在直播中近乎实时地替换说话内容,并重新绘制说话者的嘴部动作以匹配修改后的语音。系统会根据观众个人资料(年龄、语言、居住地)识别需替换的词,可处理口头填充词、口吃、冒犯性词汇及实时翻译。处理后的视频会延迟约 1 至 10 秒播放。该申请于 2025 年 4 月 29 日提交,审查员已于 2026 年 7 月 29 日驳回部分权利要求,微软尚未透露是否会投入实际开发。

Original · IT之家

微软申请新专利:AI 实时修改直播说话内容并同步嘴型

IT之家 11 月 9 日消息,微软近日提交了一项专利申请,计划利用人工智能技术,在直播及其他实时视频节目中近乎实时地修改人物说出的内容。更特别的是,这项技术还能重新绘制说话者的嘴唇动作,让观众难以察觉原本说出的话已经被替换。 这项专利的编号为 US 2026/0341309 A1,名称为《利用人工智能近乎实时增强直播活动的视频或增强现实(AR)演示》(Near Real-Time Artificial Intelligence (AI) Enhancement of Video or Augmented Reality (AR) Presentations of Live Events)。 根据专利申请文件,该系统包含一个 AI 智能体,能够实时监听音频,并根据预设规则或观众个人资料(包括年龄、所讲语言和居住地),识别需要修改或删除的词语。 随后,生成式 AI 会在音频中替换这些词语,平滑处理每处修改前后的衔接,同时生成新的视频画面,让说话者的嘴部动作与修改后的语音保持一致。 那么,微软这套系统究竟会修改哪些内容?根据相关报道,可能被替换的内容包括口头填充词、口吃、发音错误的词语、冒犯性词汇,以及“y'all”(你们)和“bite the bullet”(咬紧牙关、硬着头皮面对困难)等口语表达。经过处理的视频会延迟约 1 至 10 秒播放,以便系统完成音视频修改。 这项专利还涵盖实时翻译功能。如果说话者使用的语言不在观众的个人资料中,系统就可以将原话替换成翻译后的内容,并同步重新绘制说话者的嘴部动作,使其与翻译语音相匹配。 专利文件列举的潜在应用场景包括讲座、颁奖典礼、游戏节目和体育赛事直播等。此外,这套系统还可以运行在 AR 眼镜、手机、平板电脑或摄像头上。其中一项专利权利要求还提到,系统可以保留原始录像,将其作为“真实依据”(ground truth)。 需要注意的是,目前微软提交的只是已经公开的专利申请,并不意味着相关技术已经获得专利授权。专利审查员已于 2026 年 7 月 29 日驳回了申请中提交的相关权利要求,这属于专利审查过程中的常见环节,微软仍可以对此作出回应并修改申请内容。 IT之家注意到,这项专利申请于 2025 年 4 月 29 日提交。微软尚未透露是否计划将这项技术投入实际开发。因此,即便专利申请最终获得批准,也不意味着相关功能一定会出现在微软的产品中。