OpenAI 在 ChatGPT、Codex 及 API 中推出 Images 2.6,新增 GIF 动图生成功能并提升编辑一致性。该版本生成速度提高 50%,API 端提供 Flare(极速)和 Sunburst(高质)两款模型供开发者按需选择。
推理延迟
Inference Latency
从输入请求到生成第一个或全部 token 所需的时间
收录情报动态
Typesafe AI 推出的决策模型 Jev 在发布两周内即被 Vercel 上 35% 的付费团队采用,创下该平台最快采用纪录。该模型通过限制输出选项实现低成本、高速度的数据分类,其成功验证了专用轻量模型与前沿大模型互补的市场趋势。
Krea 推出第三代图像编辑模型 Krea 3,核心卖点为“只改所问”的局部精准控制能力。官方宣称其推理速度比竞品 Nano Banana Pro 快 4 倍,单图成本显著降低,并支持 API 调用及私有化部署评估。
HeyGen 推出的新文本转语音模型 HeyGen Voice 正式接入 OpenRouter,并在 Artificial Analysis TTS 盲测榜单中位列第一。该模型提供标准版与低延迟 Turbo 版两种模式,API 用户在 10 月 31 日前可享受每百万字符 15 美元的半价优惠。
PolyAI CTO Shawn Wen 在 HumanX 会议上表示,尽管全双工语音模型已实现边听边说,但语音 AI 仍未达到类似 ChatGPT 的爆发点。他认为当前核心挑战在于提升模型推理速度以实现自然对话,并强调企业级应用中需建立用户对 AI 的信任与透明度。
OpenAI 在 Responses API 中为现有模型 GPT-6.1 Sol 新增 Ultrafast 服务档位,无需更换模型名即可启用。该模式显著降低延迟,但 Token 单价为标准模式的 6 倍,官方称其在复杂编程与专业任务中的表现接近 GPT-6 Astra,主要面向对低延迟有高付费意愿的场景。
Hugging Face 与 Cerebras 合作,将 Gemma 4 模型集成至低延迟推理平台,打造开源模块化实时语音交互架构。该方案通过级联式语音处理显著降低响应时间,旨在解决当前语音 AI 中用户体验受限于延迟的核心痛点。
OpenAI 在 Responses API 中引入 WebSocket 支持,将 Codex 等智能体的端到端工作流延迟降低 40%。随着模型推理速度提升至近 1000 tokens/s,API 服务开销成为瓶颈,WebSocket 通过减少 HTTP 握手与往返次数优化了工具调用循环。这一改进显著提升了开发者构建实时、高频交互智能体的体验。
OpenAI 推出其首款实时编码模型 GPT-5.3-Codex-Spark,目前面向 ChatGPT Pro 用户开放研究预览。该模型主打极速生成与长上下文能力,宣称生成速度提升 15 倍并支持 128k 上下文窗口。
OpenAI 宣布与芯片厂商 Cerebras 达成合作,新增 750MW 高速 AI 算力以优化推理延迟。此举旨在提升 ChatGPT 在实时工作负载下的响应速度,属于基础设施层面的商业合作。