InfoQ 中文T2·68 分
TokenSpeed 发布面向 Agent 的 LLM 推理引擎
原标题：构建面向 Agentic 推理的下一代 LLM 推理引擎
- Agent 负载特征为多轮短输出与长前缀上下文，需重新定义延迟约束下的吞吐优化目标。
- TokenSpeed 在每用户 100 TPS 典型工作点上，单 GPU 吞吐比 TensorRT-LLM 高出 11%。
- 通过分层解耦架构与自动并行编译系统，有效解决传统 Chat 推理引擎在 Agent 场景下的缓存利用率不足问题。
返回热点榜
compute热度 11.5°
AI 聚合热点事件 · 2026/11/3
TokenSpeed 发布面向 Agent 的 LLM 推理引擎
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/3 16:08:13
全景综述与最新动态
1 家信源交叉印证TokenSpeed 推出专为 Agentic 工作负载设计的下一代 LLM 推理引擎，针对多轮短请求与长上下文复用场景优化。该引擎在 Blackwell 平台上实现比 TensorRT-LLM 高 11% 的吞吐率，并显著提升了 KV Cache 复用效率以降低成本。
最新动向/TokenSpeed 推出专为 Agentic 工作负载设计的下一代 LLM 推理引擎，针对多轮短请求与长上下文复用场景优化。该引擎在 Blackwell 平台上实现比 TensorRT-LLM 高 11% 的吞吐率，并显著提升了 KV Cache 复用效率以降低成本。
逐小时热度走势
2 个完整观测小时连续完整观测不足 3 个小时，暂不绘制趋势曲线。