Hacker News AIT2·开发与工程
58 分
Nozzle 是一个面向 LLM 流式输出的轻量 TypeScript 库,核心思路是仅在必要时缓冲、其余内容立即发射,例如正则匹配只缓冲潜在命中片段,周边文本即时输出。它零依赖、体积小,提供 consume、toReadableStream 等流式转换 API,适合构建低延迟的流式 UI 与解析管线。
Streaming Output
模型逐块生成并即时返回文本的推理输出方式,降低首字延迟
Nozzle 是一个面向 LLM 流式输出的轻量 TypeScript 库,核心思路是仅在必要时缓冲、其余内容立即发射,例如正则匹配只缓冲潜在命中片段,周边文本即时输出。它零依赖、体积小,提供 consume、toReadableStream 等流式转换 API,适合构建低延迟的流式 UI 与解析管线。
Meta 宣布个人 AI 助手 Muse 正式上线实时语音对话与虚拟形象功能,率先面向美国用户推送,覆盖移动端、网页端与 Mac 应用。系统由 Muse Realtime Voice 与 Muse Realtime Avatar 两个模型驱动,可流式输出 448×768、25 帧每秒的竖屏视频,首响应延迟约 870 毫秒,支持随时打断与多种形象、语音风格切换。
阿里通义千问团队发布 Qwen3.5-LiveTranslate-Flash,基于 Qwen3.5-Omni 构建的多模态同声传译模型。该模型将语言覆盖范围从 18 种扩展至 60 种(29 种支持语音输出),引入“可读单元”技术实现端到端字均延迟低至 2.8 秒,并新增实时音色克隆与热词增强功能,显著提升专业场景下的翻译准确性与沉浸感。