亚马逊将 Bedrock AgentCore harness 升级为基于开源 Strands harness,为托管智能体默认提供推荐模型、任务导向系统提示、自动提示缓存与主动上下文管理。同时新增规划、网页检索、文件系统访问、上下文卸载与任务委派等内置工具,并引入生命周期钩子,让开发者能在智能体循环的指定节点插入确定性校验与通知。
提示词缓存
Prompt Caching
复用请求中重复前缀的已计算结果,以降低输入 token 成本与首字延迟的技术
收录情报动态
生命科学 SaaS 厂商 ArisGlobal 在 Amazon Bedrock 上运行 NavaX 引擎处理药物警戒不良事件,因多租户合规需求导致共享提示前缀半年膨胀约 150%、单案推理成本上涨超 200%。团队将缓存对象从单份源文档改为共享前缀后,有效输入成本显著下降,并支撑租户扩容而无需成本线性增长。
Amazon Bedrock 为平台上的开源权重模型新增显式提示缓存支持,可复用系统提示、参考文档、工具定义与历史对话等重复前缀,从而降低输入成本与响应延迟。缓存由 Bedrock 托管,支持隐式与显式两种模式,并可通过运行时指标追踪缓存读写。
宝玉提出多智能体交互的分层调度思路:主会话只需承担甄别与路由职责,用 Sonnet 5.5 级别模型即可,具体子任务交给 Thread 用更强模型完成。配合 Prompt Caching 差异化策略,主会话缓存过期后只回传最近几条消息并借助 Session 检索工具补齐上下文,Thread 则在缓存临近过期时压缩上下文,从而控制整体 Token 开销。
AWS 官方博客指出,在提示词与应用逻辑调优之后,缓存时长、服务层级、推理强度与 maxTokens 这四项请求级配置仍会显著改变 Bedrock 的 token 处理量与计费费率。文章给出逐项测试方法,并说明如何通过响应元数据、日志与账单数据验证实际效果。
AWS 发布系列文章第二部分,提出以“单任务成本”而非“单 Token 成本”衡量智能体经济性,并给出缓存、模型路由、输出约束三类降本手段。文章同时提出用人工基线、留出实验与五维记分卡验证智能体 ROI,配套 Well-Architected 智能体成本治理规范。
Anthropic 为 Claude API 推出 Beta 功能,开发者可在消息序列中插入空的 system 消息并设置 output_config.effort,从而在同一段对话中途调整模型的投入档位。该设置从下一条用户消息起生效,不影响已生成内容,且提示缓存仍可命中,便于在闲聊与复杂分析之间切换时平衡质量、速度与成本。
Amazon Bedrock 为开源多模态模型 Kimi K3 新增印度境内推理选项,旨在满足严格的数据驻留合规要求。该功能允许客户在本地处理敏感数据,同时通过 API 无缝集成前沿编码与智能体能力。
Anthropic 为 Claude Messages API 推出“消息线程”公测功能,允许服务器暂存对话上下文,开发者无需每轮重发完整历史。该功能显著降低请求负载(从约 800KB 降至 1.8KB)并缩短首字延迟约 35%,但不改变 Token 计费标准。适用于长周期 Agent 任务及多模态交互场景。
Arena.ai 基于逾 2.6 万条智能体会话数据指出,若移除提示词缓存机制,典型任务成本将增加 260%。以 Claude Fable 5.1 为例,单次任务费用将从 7.44 美元飙升至 27 美元,且缓存失效会导致账单额外增加 5%。该研究揭示了缓存技术在优化智能体经济模型中的核心作用。