Meta 向全美用户开放 Muse AI 智能体实时视频通话

原标题:Meta just opened live video calls with its Muse AI agent to every US user.
78AI 研判分

Meta 将 Muse AI 智能体的实时视频通话功能向全美用户开放,用户可与可自定义形象的动画虚拟人对话,端到端响应延迟约 870ms。技术侧通过学生模型两遍推理复现教师模型 120 遍的效果,配合 4-bit 量化、缓存与动态批处理,单张 GB200 可并发 12 路视频流,但百万级并发所需算力规模仍是其规模化落地的核心瓶颈。

报道正文

Rohan Paul (@rohanpaul_ai) · 2026-11-05 20

Meta 刚刚向所有美国用户开放了与旗下 Muse AI 智能体的实时视频通话。

通话者会看到一个动画头像,可以将其重新设定为人物、动物或其他角色,并且它在聆听时会做出反应。

Muse Realtime Voice 会输出携带文字内容和表达方式的语音 token,而 Muse Realtime Avatar 则将同一数据流转化为唇形同步的视频。

为了实现实时运行,Meta 训练了一个学生模型,使其在每个视频分块上仅用 2 次处理就能复现教师模型用 120 次处理所构建的内容。

该系统以每秒 25 帧的速度流式传输 448x768 的竖屏视频,并在用户停止说话约 870 毫秒后开始回复。

加入 4-bit 量化、缓存和动态批处理后,单块 Nvidia GB200 可同时运行 12 路视频流。

在公司开展的 2 至 3 分钟通话测试中,评分者对头像的偏好度相比 Runway Characters 为 78% 对 22%,相比 HeyGen LiveAvatar 为 88% 对 12%。

按每块 GB200 支持 12 路视频流计算,100 万同时通话者仅视频部分就需要约 8.3 万块 GB200,因此服务成本可能会限制该头像的覆盖范围。

推文配图