术语slug: streaming-output

流式输出

Streaming Output

模型逐块生成并即时返回文本的推理输出方式,降低首字延迟

收录情报动态

共 3 篇 · 第 1/1 页
Hacker News AIT2·开发与工程
58 分
Nozzle 发布零依赖流式文本处理库

Nozzle 是一个面向 LLM 流式输出的轻量 TypeScript 库,核心思路是仅在必要时缓冲、其余内容立即发射,例如正则匹配只缓冲潜在命中片段,周边文本即时输出。它零依赖、体积小,提供 consume、toReadableStream 等流式转换 API,适合构建低延迟的流式 UI 与解析管线。

IT之家 · 智能时代T2·智能体与协同
72 分
Meta 为 Muse 上线实时语音与虚拟形象视频对话

Meta 宣布个人 AI 助手 Muse 正式上线实时语音对话与虚拟形象功能,率先面向美国用户推送,覆盖移动端、网页端与 Mac 应用。系统由 Muse Realtime Voice 与 Muse Realtime Avatar 两个模型驱动,可流式输出 448×768、25 帧每秒的竖屏视频,首响应延迟约 870 毫秒,支持随时打断与多种形象、语音风格切换。

Qwen 官方博客 (通义)T1·基座大模型
78 分
Qwen3.5-LiveTranslate 发布:60 语同传与实时音色克隆

阿里通义千问团队发布 Qwen3.5-LiveTranslate-Flash,基于 Qwen3.5-Omni 构建的多模态同声传译模型。该模型将语言覆盖范围从 18 种扩展至 60 种(29 种支持语音输出),引入“可读单元”技术实现端到端字均延迟低至 2.8 秒,并新增实时音色克隆与热词增强功能,显著提升专业场景下的翻译准确性与沉浸感。