术语slug: throughput

吞吐量

Throughput

单位时间内系统处理的数据量或请求数

收录情报动态

共 8 篇 · 第 1/1 页
量子位官网T2·基座大模型
78 分
MiniMax 发布 M3.1 Flash,Agent 能力登顶国产模型

MiniMax 正式推出匿名模型“Space Bunny”的对应版本 M3.1 Flash。该模型在 Agents’ Last Exam (ALE) 中得分 29.6%,位列国产模型第一,且在代码、安全及 Computer Use 等任务中进入全球第一梯队。其输出速度达 200+ TPS,API 价格仅为上一代产品的 30%,极具性价比优势。

InfoQ 中文T2·智能体与协同
68 分
DHH 称 Agent 用 Rust 重写 Campfire 性能提升 150 倍,因基准测试方法遭社区质疑

Ruby on Rails 创始人 DHH 宣布其团队已停止手工编码,转而利用 AI Agent 将核心应用 Campfire 从 Ruby 重写为 Rust、Go 和 Elixir。他发布的基准测试显示 Rust 版本在聊天室加载场景下吞吐量达 Rails 的 150 倍,并主张“人类无需阅读代码”的新开发范式。然而,该测试结果因未公开具体实现细节及疑似测量偏差,遭到开发者社区的广泛技术性质疑与嘲讽。

腾讯混元 (Tencent Hunyuan)T1·基座大模型
68 分
LLM RL 批量规模效应研究:揭示大 Batch 在特定阈值下加速收敛的机制与失效边界

最新研究深入剖析了大语言模型强化学习(RL)中批量大小(Batch Size)对训练效率的非线性影响。实验表明,在重新调整学习率后,中等规模的批量(如 B、2B、4B)能通过提升吞吐量显著缩短达到验证目标的时间;然而,当批量扩大至 16B 时,额外的样本计算成本超过了吞吐量收益,导致训练路径反而变慢。该发现为优化 RLHF 或 RLAIF 流程中的算力分配提供了具体的量化依据。

Hugging Face BlogT1·开发与工程
68 分
Hugging Face 详解连续批处理原理

Hugging Face 发布技术博客,从注意力机制和 KV 缓存出发,推导以吞吐量为核心的连续批处理(Continuous Batching)实现原理。文章旨在帮助开发者理解 LLM 推理服务中动态调度请求、提升 GPU 利用率的关键底层逻辑。

Hugging Face BlogT1·算力与基建
48 分
GCP Xeon C4 基准测试:嵌入吞吐提升 24 倍

Hugging Face 与 Intel 联合在 Google Cloud 上对第五代 Xeon (C4) 与上一代 (N2) 进行语言模型推理基准测试。结果显示,C4 在文本嵌入任务中吞吐量比 N2 高 10-24 倍,在文本生成中高 2.3-3.6 倍;考虑成本后,C4 在嵌入任务上的总拥有成本(TCO)优势达 7-19 倍。该数据支持在纯 CPU 环境中部署轻量级智能体 AI 工作负载的可行性。