IT之家 · 智能时代T2·78 分
英伟达全栈协同设计破解内存墙,HBM 仅增 3% 吞吐量提升 30 倍
原标题:英伟达破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍
- 核心思路是把模型权重、KV 缓存与 RAG 索引分层放置,用压缩与迁移减少对 HBM 的占用
- NVFP4 压缩、NVL72 权重分片、Vera CPU 的 LPDDR 缓冲与 Dynamo/CMX 上下文存储构成组合方案
- 基准称每美元智能体吞吐量最高提升 30 倍,但 HBM 容量仅增约 3%,数据来自厂商援引的第三方基准