Microsoft Patent Filing Targets Real-Time AI Speech Rewriting with Lip Sync
Microsoft has filed patent application US 2026/0341309 A1 describing a system that rewrites live speech almost in real time: an AI agent monitors audio and flags words to alter or remove based on preset rules or viewer profiles (age, language, residence), then generative AI replaces the audio, smooths transitions and regenerates mouth movements to match, with playback delayed roughly 1 to 10 seconds. The filing also covers live translation and deployment on AR glasses, phones and cameras, but examiners rejected the relevant claims on July 29, 2026, and Microsoft has not confirmed any product plans.
Full Report
IT之家 11 月 9 日消息，微软近日提交了一项专利申请，计划利用人工智能技术，在直播及其他实时视频节目中近乎实时地修改人物说出的内容。更特别的是，这项技术还能重新绘制说话者的嘴唇动作，让观众难以察觉原本说出的话已经被替换。
这项专利的编号为 US 2026/0341309 A1，名称为《利用人工智能近乎实时增强直播活动的视频或增强现实（AR）演示》（Near Real-Time Artificial Intelligence (AI) Enhancement of Video or Augmented Reality (AR) Presentations of Live Events）。
根据专利申请文件，该系统包含一个 AI 智能体，能够实时监听音频，并根据预设规则或观众个人资料（包括年龄、所讲语言和居住地），识别需要修改或删除的词语。
随后，生成式 AI 会在音频中替换这些词语，平滑处理每处修改前后的衔接，同时生成新的视频画面，让说话者的嘴部动作与修改后的语音保持一致。
那么，微软这套系统究竟会修改哪些内容？根据相关报道，可能被替换的内容包括口头填充词、口吃、发音错误的词语、冒犯性词汇，以及“y'all”（你们）和“bite the bullet”（咬紧牙关、硬着头皮面对困难）等口语表达。经过处理的视频会延迟约 1 至 10 秒播放，以便系统完成音视频修改。
这项专利还涵盖实时翻译功能。如果说话者使用的语言不在观众的个人资料中，系统就可以将原话替换成翻译后的内容，并同步重新绘制说话者的嘴部动作，使其与翻译语音相匹配。
专利文件列举的潜在应用场景包括讲座、颁奖典礼、游戏节目和体育赛事直播等。此外，这套系统还可以运行在 AR 眼镜、手机、平板电脑或摄像头上。其中一项专利权利要求还提到，系统可以保留原始录像，将其作为“真实依据”（ground truth）。
需要注意的是，目前微软提交的只是已经公开的专利申请，并不意味着相关技术已经获得专利授权。专利审查员已于 2026 年 7 月 29 日驳回了申请中提交的相关权利要求，这属于专利审查过程中的常见环节，微软仍可以对此作出回应并修改申请内容。
IT之家注意到，这项专利申请于 2025 年 4 月 29 日提交。微软尚未透露是否计划将这项技术投入实际开发。因此，即便专利申请最终获得批准，也不意味着相关功能一定会出现在微软的产品中。