术语slug: prompt-caching

提示词缓存

Prompt Caching

复用请求中重复前缀的已计算结果,以降低输入 token 成本与首字延迟的技术

收录情报动态

共 27 篇 · 第 1/3 页
AWS Machine Learning BlogT1·智能体与协同
62 分
亚马逊 Bedrock AgentCore 升级 Strands 框架

亚马逊将 Bedrock AgentCore harness 升级为基于开源 Strands harness,为托管智能体默认提供推荐模型、任务导向系统提示、自动提示缓存与主动上下文管理。同时新增规划、网页检索、文件系统访问、上下文卸载与任务委派等内置工具,并引入生命周期钩子,让开发者能在智能体循环的指定节点插入确定性校验与通知。

AWS Machine Learning BlogT1·算力与基建
58 分
ArisGlobal 逆转缓存顺序降本 200%

生命科学 SaaS 厂商 ArisGlobal 在 Amazon Bedrock 上运行 NavaX 引擎处理药物警戒不良事件,因多租户合规需求导致共享提示前缀半年膨胀约 150%、单案推理成本上涨超 200%。团队将缓存对象从单份源文档改为共享前缀后,有效输入成本显著下降,并支撑租户扩容而无需成本线性增长。

AWS Machine Learning BlogT1·开发与工程
38 分
Amazon Bedrock 开源权重模型支持提示缓存

Amazon Bedrock 为平台上的开源权重模型新增显式提示缓存支持,可复用系统提示、参考文档、工具定义与历史对话等重复前缀,从而降低输入成本与响应延迟。缓存由 Bedrock 托管,支持隐式与显式两种模式,并可通过运行时指标追踪缓存读写。

宝玉 (@dotey)T2·智能体与协同
58 分
主会话加 Thread 分层调度可显著优化 Token 消耗

宝玉提出多智能体交互的分层调度思路:主会话只需承担甄别与路由职责,用 Sonnet 5.5 级别模型即可,具体子任务交给 Thread 用更强模型完成。配合 Prompt Caching 差异化策略,主会话缓存过期后只回传最近几条消息并借助 Session 检索工具补齐上下文,Thread 则在缓存临近过期时压缩上下文,从而控制整体 Token 开销。

AWS Machine Learning BlogT1·算力与基建
58 分
Bedrock 四项推理配置直接影响账单成本

AWS 官方博客指出,在提示词与应用逻辑调优之后,缓存时长、服务层级、推理强度与 maxTokens 这四项请求级配置仍会显著改变 Bedrock 的 token 处理量与计费费率。文章给出逐项测试方法,并说明如何通过响应元数据、日志与账单数据验证实际效果。

AWS Machine Learning BlogT1·智能体与协同
58 分
亚马逊 Bedrock 发布智能体单任务成本与 ROI 度量框架

AWS 发布系列文章第二部分,提出以“单任务成本”而非“单 Token 成本”衡量智能体经济性,并给出缓存、模型路由、输出约束三类降本手段。文章同时提出用人工基线、留出实验与五维记分卡验证智能体 ROI,配套 Well-Architected 智能体成本治理规范。

IT之家 · 智能时代T2·开发与工程
58 分
Claude API 支持对话中途调节 effort 档位

Anthropic 为 Claude API 推出 Beta 功能,开发者可在消息序列中插入空的 system 消息并设置 output_config.effort,从而在同一段对话中途调整模型的投入档位。该设置从下一条用户消息起生效,不影响已生成内容,且提示缓存仍可命中,便于在闲聊与复杂分析之间切换时平衡质量、速度与成本。

宝玉 (@dotey)T2·开发与工程
78 分
Claude API 公测消息线程,长对话免重发历史提速 35%

Anthropic 为 Claude Messages API 推出“消息线程”公测功能,允许服务器暂存对话上下文,开发者无需每轮重发完整历史。该功能显著降低请求负载(从约 800KB 降至 1.8KB)并缩短首字延迟约 35%,但不改变 Token 计费标准。适用于长周期 Agent 任务及多模态交互场景。

Arena.ai (@arena)T1·智能体与协同
68 分
Arena.ai 分析:缓存缺失致智能体成本激增 260%

Arena.ai 基于逾 2.6 万条智能体会话数据指出,若移除提示词缓存机制,典型任务成本将增加 260%。以 Claude Fable 5.1 为例,单次任务费用将从 7.44 美元飙升至 27 美元,且缓存失效会导致账单额外增加 5%。该研究揭示了缓存技术在优化智能体经济模型中的核心作用。