DeepSeek 在 PyTorch Conf 上发布开源推理引擎 DeepInfer,声称单集群日处理量达 155T tokens。该工具旨在挑战闭源基础设施垄断,提供高吞吐、低延迟的 SOTA 级开源替代方案。
吞吐量
Throughput
单位时间内系统处理的数据量或请求数
收录情报动态
MiniMax 正式推出匿名模型“Space Bunny”的对应版本 M3.1 Flash。该模型在 Agents’ Last Exam (ALE) 中得分 29.6%,位列国产模型第一,且在代码、安全及 Computer Use 等任务中进入全球第一梯队。其输出速度达 200+ TPS,API 价格仅为上一代产品的 30%,极具性价比优势。
Ruby on Rails 创始人 DHH 宣布其团队已停止手工编码,转而利用 AI Agent 将核心应用 Campfire 从 Ruby 重写为 Rust、Go 和 Elixir。他发布的基准测试显示 Rust 版本在聊天室加载场景下吞吐量达 Rails 的 150 倍,并主张“人类无需阅读代码”的新开发范式。然而,该测试结果因未公开具体实现细节及疑似测量偏差,遭到开发者社区的广泛技术性质疑与嘲讽。
该工具提供从百万到万亿 Token 处理量的 GPU 需求估算,以 Llama 3.3 70B 为例,月处理 1 万亿 Token 约需 367 块 H100。其核心逻辑基于吞吐量、利用率及输入输出比例进行线性推导,并展示了不同假设对结果的影响范围。
最新研究深入剖析了大语言模型强化学习(RL)中批量大小(Batch Size)对训练效率的非线性影响。实验表明,在重新调整学习率后,中等规模的批量(如 B、2B、4B)能通过提升吞吐量显著缩短达到验证目标的时间;然而,当批量扩大至 16B 时,额外的样本计算成本超过了吞吐量收益,导致训练路径反而变慢。该发现为优化 RLHF 或 RLAIF 流程中的算力分配提供了具体的量化依据。
OpenAI 公布其首款自研 AI 推理芯片 Jalapeño 的初步结果,宣称在速度、能效、吞吐量及延迟方面达到行业领先水平。目前仅披露定性优势,未提供具体基准测试数据或架构细节。
Hugging Face 发布技术博客,从注意力机制和 KV 缓存出发,推导以吞吐量为核心的连续批处理(Continuous Batching)实现原理。文章旨在帮助开发者理解 LLM 推理服务中动态调度请求、提升 GPU 利用率的关键底层逻辑。
Hugging Face 与 Intel 联合在 Google Cloud 上对第五代 Xeon (C4) 与上一代 (N2) 进行语言模型推理基准测试。结果显示,C4 在文本嵌入任务中吞吐量比 N2 高 10-24 倍,在文本生成中高 2.3-3.6 倍;考虑成本后,C4 在嵌入任务上的总拥有成本(TCO)优势达 7-19 倍。该数据支持在纯 CPU 环境中部署轻量级智能体 AI 工作负载的可行性。