术语slug: inference-speed

推理速度

Inference Speed

模型生成输出令牌的速度,通常以每秒令牌数衡量

收录情报动态

共 8 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
78 分
Kimi K3.1 Pro 发布 支持百万上下文与高速版

月之暗面正式推出 Kimi K3.1 Pro,这是其首个 3T 参数级模型,拥有 100 万 token 上下文窗口,并在编程、3D 生成及金融建模方面显著提升。同时发布的 K3.1 Pro Highspeed 版本在保持同等能力下实现了 2-3 倍的推理速度提升,旨在提供更流畅的交互体验。

量子位官网T2·基座大模型
42 分
OpenAI 启动“疯狂 28 天”:GPT-6 推理提速 50%

OpenAI Codex 负责人宣布启动为期28天的密集更新计划,首日交付 GPT-6 Astra 和 Sol 模型约50%的默认推理速度提升。尽管官方强调性能优化,但因前期负载问题及商业化争议,社区反馈以嘲讽为主,认为此举是公关补救而非实质突破。

OpenAI 官方博客T1·基座大模型
48 分
OpenAI 预览 Ultrafast 模式:GPT-5.6 Sol 提速 14 倍

OpenAI 推出名为 Ultrafast 的新 API 服务层级,使 GPT-5.6 Sol 模型推理速度提升最高达 14 倍。该功能由 Cerebras 硬件支持,可实现每秒高达 750 个输出 token 的生成速率。目前该功能处于预览阶段,旨在满足对低延迟有高要求的实时应用场景。

Google DeepMindT1·基座大模型
68 分
Google DeepMind 发布 Nano Banana 2:兼顾 Pro 能力与 Flash 速度

Google DeepMind 推出新一代图像生成模型 Nano Banana 2,旨在结合 Nano Banana Pro 的高级世界知识与 Gemini Flash 的极速推理性能。该模型支持主体一致性、生产级规格及快速迭代编辑,并已集成至 Gemini App 和 Google Search。同时,Google 宣布将 C2PA 内容凭证技术引入 SynthID,以增强 AI 生成内容的可验证性。

Hugging Face BlogT1·基座大模型
35 分
Hugging Face 发布 SmolLM 系列小模型

Hugging Face 推出了名为 SmolLM 的轻量级大语言模型系列,主打极速推理与高性能平衡。该系列旨在为资源受限环境提供高效解决方案,但当前素材仅包含标题信息,缺乏具体参数、基准测试数据及架构细节。