AWS 推出分布式 KV 缓存 推理成本降 40%

作者:Ravi Yadav原标题:Cut self-hosted LLM cost and latency with the distributed KV caching agent skill
72AI 研判分

AWS 发布基于 Amazon ElastiCache 的分布式 KV 缓存方案,在 GPU 集群旁构建共享缓存层,使任意服务器可复用数天内的 KV 状态,跨会话、路由切换与故障场景均有效。官方数据显示,该方案可将自托管 LLM 推理成本降低最多 40%,首 token 延迟(TTFT)降低最多 80%,直接缓解长上下文智能体反复预填充(prefill)造成的算力浪费。

报道正文

本文目录7 个章节

客户越来越多地在 GPU 上自托管大语言模型(LLM),以便掌控成本、准确性和延迟。然而,自托管往往意味着要为冗余的 GPU 计算付费,因为每台服务器上小而孤立的缓存无法容纳或共享 AI 智能体和聊天应用不断重发的、持续增长的上下文。设想一个法律 AI 助手,它在每次对话中可能累积数十万个 token 的案件历史。当律师午休后回到某个对话线程时,LLM 的响应可能需要数分钟。接手该请求的 GPU 服务器内存中完全没有这段历史。因此,GPU 必须先为所有这些 token 重新计算键值(KV)注意力状态——这一步骤称为 prefill——然后才能输出一个字。同样的模式也会拖慢恢复运行的编码智能体、智能体式 AI 助手和文档问答助手。使用 Amazon ElastiCache 的分布式 KV 缓存可将自托管 LLM 推理成本降低最多 40%,并将首 token 时间(TTFT)缩短最多 80%。分布式 KV 缓存通过在 GPU 集群旁增加一个共享层来扩展 GPU 本地缓存,使任何服务器都能在数天内跨会话、路由变化和服务器故障复用 KV 状态。“Announcing distributed KV caching for self-hosted LLMs with Amazon ElastiCache” 深入介绍了技术细节和性能基准测试。

本文详细介绍 Agent Toolkit for AWS 中的分布式 KV 缓存技能。借助该技能,你可以在编码智能体中通过几个提示词评估并设置分布式 KV 缓存。该技能会引导智能体检查你的工作负载是否受益于分布式 KV 缓存、为测试或生产工作负载设置缓存集群,以及排查 LLM 推理缓存问题。该技能适用于 Kiro、Claude Code、OpenAI Codex 以及其他支持 Agent Skills 的编码智能体。我们通过四段对话来演示该技能的工作方式:诊断缓慢的首 token、确定缓存容量与定价、进行设置,以及修复失败的传输。

为什么需要 KV 缓存技能,它能做什么?

你的工作负载能获得多少收益,取决于所用 LLM 模型、用户流量模式、提示词路由选择等特征,估算起来可能相当复杂。我们开发了 KVTrace 工具,让你在部署任何基础设施之前,就能基于自己的模型和流量获得接近实际的收益估算,且无需额外付费。该技能简化了这一评估和配置过程,并在做出任何更改之前,引导你的编码智能体遵循以下最佳实践:

  • 先做适配检查,再谈花费。 智能体通过只读的 describe-instances 调用读取你的 GPU 集群,并统计 Elastic Fabric Adapter (EFA) 接口数量。它只询问自己看不到的信息:推理引擎、模型、张量并行(TP)大小、KV 数据类型、服务器价格,以及提示词的重复频率。如果某些条件不匹配,它会停下来并给出解释。
  • 基于你的工作负载得出数字。 对于短提示词,加载 KV 状态可能比重新计算更耗时。当提示词长度超过某个阈值(切换点)后,读取就更划算。这个切换点以及提示词的重复频率,决定了缓存是否值这个价。智能体使用 KVTrace 基于你自己的流量估算节省额,无需额外付费;如果节省额不足以覆盖缓存成本,它就会停止。每个数字都会注明来源。
  • 用你现有的技术栈管理各推理服务器上的配置。 智能体将 LMCache 连接器添加到现有的 vLLM 或 SGLang 引擎中,包括 llm-d 和 Ray Serve 等 serving 框架下的 vLLM worker。它保留你的路由和引擎设置,并将推理集群中的服务器统一设置为同一种 KV ID 机制(hash 和 seed)以及明确的 KV 数据类型。设置一致可避免键不匹配,即各服务器写入的 KV 状态彼此无法找到。
  • 落实最佳实践。 在生产流量到来之前,智能体会清空本地层级,并检查两次缓存加载运行是否产生相同输出,因为布局不匹配可能导致命中计数器看起来正常、但答案却是错的。该技能会引导智能体对创建、更改或删除资源等高影响操作寻求明确批准。

先决条件

从估算收益到完成配置的这些流程,需要满足以下条件:

  • 支持 Agent Skills 的编码智能体,例如 Kiro 或 Claude Code。
  • 支持 EFA RDMA 写入的 GPU 实例,例如 p5。
  • LMCache 0.5.8rc1 或更高版本,以及 vLLM 0.11.1 或更高版本(SGLang 0.5.13 或更高版本)。
  • ElastiCache for Valkey 9.1 或更高版本,运行在 cache.i8ge.48xlarge 节点上(如果设置缓存的话)。

流程 1:分布式 KV 缓存能帮上忙吗?

我们给智能体提供了这样的提示词:“我的 vLLM 集群在 p5 实例上为一个法律助手提供服务,上下文长度为 64K token。对于回访的对话,首个 token 需要 13 秒,因为 GPU 每一轮都会重新计算完整的对话历史。我该如何解决这个问题?”

智能体将请求匹配到对应的 skill,并在 Kiro 中于加载前请求批准。答案指出延迟是由冷预填充(cold prefill)造成的,而答案中有三点对真实部署至关重要。第一,它检查了无需新增基础设施的修复方案。如果你关闭了前缀缓存,重新开启它可以加速连续多轮对话。如果 GPU 前缀缓存的命中率在会话亲和性下已经超过 90%,你可能不需要共享 KV 缓存。第二,它识别出法律 AI 助手特有的约束。共享 KV 缓存可能让一个租户通过响应时间判断另一个租户是否发送了相同的文本。必须保持隔离的案例使用独立的缓存,而共享缓存的租户会在 KV 哈希中加入自己的 ID。第三,它不会猜测规模。它会询问模型和 TP 大小、KV 数据类型、副本数量和路由方式,以及用户在轮次之间等待多长时间。

智能体诊断及为法律助手提出的分布式 KV 缓存架构示意图

图 1:法律助手的诊断及提出的架构

流程 2:估算节省

为了估算节省的规模,我们给智能体提供了一个示例集群:8 个 p5 实例,为一个多轮检索增强生成(RAG)助手处理 64,000 token 的提示词。智能体查询了 GPU 和缓存节点的价格,并根据基准测试推导出预填充速率和 KV 大小。最后,智能体推荐了两台 cache.i8ge.48xlarge 节点用于分布式 KV 缓存。下图展示了智能体的总结及其使用的输入。

该智能体的成本摘要,展示了它查询到的 GPU 和缓存节点价格,以及推荐的两个 cache.i8ge.48xlarge 节点

图 2:该智能体的摘要与输入。它在 AWS 价格列表中查询了这两种价格,并解释了它是如何得出重算数值的

我们没有提供缓存命中率,即缓存将服务的重算 token 所占的比例。因此,该智能体给出了多种情景,并建议运行一次 KVTrace 来确定缓存命中率。KVTrace 会记录 KV 缓存事件,这些事件来自 vLLM 或 SGLang。随后,它会将这些事件离线重放到每种候选规模的共享 KV 缓存上。记录器从不写入 token ID 或提示文本。跟踪记录只包含块哈希和 token 数量。块哈希来自 token 内容,因此当你的提示内容敏感时,请传入 --anonymize-key-file。该技能会在每台 GPU 服务器上记录一个有代表性的时间窗口,例如一个完整的工作日。该智能体还指出,只有当你减少服务器数量,或在相同服务器上承载更多流量时,释放出的 GPU 时间才会转化为金钱。

KVTrace 报告,展示了四种缓存命中比例下的净节省、TTFT 基准测试以及推荐的分片数量

图 3:来自合成演示流量的 KVTrace 报告顶部。它推荐了能达到节省上限 90% 的最小容量。

流程 3:设置分布式 KV 缓存

我们向智能体发出提示:“从零开始,为 LLM 推理搭建一个共享 L2 KV 缓存。”在创建任何资源之前,智能体会请求你确认是否按建议的缓存节点数量在你的可用区中搭建,并告知预估价格。确认后,它会创建具有 EFA 权限的正确安全组,以及一个 Valkey 9.1 集群,该集群使用带有缓存逐出策略的自定义参数组。LMCache 会获得自己的缓存用户,密码存放在 AWS Secrets Manager 中。智能体会准备 GPU 服务器,并在每台 GPU 服务器上启动一个 LMCache 服务器。然后它用一个小的测试对象检查集群,并确认重复的提示词会通过远程直接内存访问(RDMA)从缓存加载其 KV 状态。在 GPU 集群上,该技能会将实测的 L2 占比与 KVTrace 预测值进行对比。有关包含每条命令的完整设置,请参阅 Amazon ElastiCache 文档中的分布式 KV 缓存入门。

流程 4:故障排查

提示:“我的 LMCache 服务器能连接到 ElastiCache 集群,BLOB.RDMA_HELLO 也成功了,但实际数据传输失败。INFO largeobj 显示 rdma_write_errors 持续上升。哪里出了问题?”

按照该技能的故障排查指南,智能体根据症状模式进行推理,并将可能的原因识别为安全组阻止了其自身成员之间的 EFA 流量。它为你提供了检查和修复该规则的命令。

智能体的故障排查回答:最可能的原因是缺少一条自引用出站规则。它解释了为什么 HELLO 成功而 RDMA 传输失败,给出了用于检查规则的 describe-security-groups 命令,以及用于修复规则的 authorize-security-group-egress 和 ingress 命令,并列出了在规则已经正确的情况下应运行的四项检查。

图 4:智能体解释症状,然后给出检查和修复安全组的命令

开始使用

你可以从 Agent Toolkit for AWS 获取分布式 KV 缓存技能或 AWS MCP Server。然后描述你的问题,或让你的 AI agent 降低 GPU 集群的成本和延迟,即可开始使用。如需进一步了解使用 ElastiCache 的分布式 KV 缓存以及性能基准测试,请参阅 AWS 博客。你可以在 Amazon ElastiCache 文档中了解如何开始使用 AWS Command Line Interface (AWS CLI),并在 GitHub 仓库中进一步了解 KVTrace。