AWS Machine Learning BlogT1·72 分
AWS 推出分布式 KV 缓存 推理成本降 40%
原标题:Cut self-hosted LLM cost and latency with the distributed KV caching agent skill
- 共享 KV 缓存层可跨会话、路由切换与服务器故障复用注意力状态,缓存有效期达数天
- 官方称推理成本最多降 40%、首 token 延迟最多降 80%
- 方案面向法律助手、编码智能体、文档问答等长上下文场景,并提供 KVTrace 工具