月之暗面正式推出 Kimi K3.1 Pro,这是其首个 3T 参数级模型,拥有 100 万 token 上下文窗口,并在编程、3D 生成及金融建模方面显著提升。同时发布的 K3.1 Pro Highspeed 版本在保持同等能力下实现了 2-3 倍的推理速度提升,旨在提供更流畅的交互体验。
推理速度
Inference Speed
模型生成输出令牌的速度,通常以每秒令牌数衡量
收录情报动态
开发者推出开源工具 Llmspeed,允许用户在购买硬件前模拟特定显卡与 CPU 组合下主流大模型的推理速度。该工具整合社区基准测试数据与规格推算,覆盖 NVIDIA、AMD 及 Apple Silicon 等主流硬件平台,为本地 AI 部署提供直观的选型参考。
OpenAI 正式推出 GPT-6.1 Sol 的 Ultrafast 版本,该版本在 API、Codex 和 ChatGPT Work 中提供最高 8 倍的推理速度,但定价为标准版的 6 倍。目前该功能仅向 Pro 500、特定企业版及教育版用户开放,且需管理员手动启用权限。
OpenAI 正式向 API、Codex 和 ChatGPT Work 用户推送 GPT-6.1 Sol 的 Ultrafast 版本,宣称在保持接近 Astra 级别智能的同时,推理速度比标准版快 8 倍。该模型现已通过 OpenRouter 平台开放调用,旨在满足开发者对高响应速度的即时需求。
OpenAI Codex 负责人宣布启动为期28天的密集更新计划,首日交付 GPT-6 Astra 和 Sol 模型约50%的默认推理速度提升。尽管官方强调性能优化,但因前期负载问题及商业化争议,社区反馈以嘲讽为主,认为此举是公关补救而非实质突破。
OpenAI 推出名为 Ultrafast 的新 API 服务层级,使 GPT-5.6 Sol 模型推理速度提升最高达 14 倍。该功能由 Cerebras 硬件支持,可实现每秒高达 750 个输出 token 的生成速率。目前该功能处于预览阶段,旨在满足对低延迟有高要求的实时应用场景。
Google DeepMind 推出新一代图像生成模型 Nano Banana 2,旨在结合 Nano Banana Pro 的高级世界知识与 Gemini Flash 的极速推理性能。该模型支持主体一致性、生产级规格及快速迭代编辑,并已集成至 Gemini App 和 Google Search。同时,Google 宣布将 C2PA 内容凭证技术引入 SynthID,以增强 AI 生成内容的可验证性。
Hugging Face 推出了名为 SmolLM 的轻量级大语言模型系列,主打极速推理与高性能平衡。该系列旨在为资源受限环境提供高效解决方案,但当前素材仅包含标题信息,缺乏具体参数、基准测试数据及架构细节。