AWS Machine Learning BlogT1·开发与工程
62 分
NVIDIA 开源 NeMo Switchyard 库,可在 Amazon Bedrock 上为编码智能体按请求动态选择模型,并通过 LiteLLM 集成提供阶段路由等策略。文章主张以“每个成功任务的成本”而非单 token 价格衡量路由效果,因为智能体任务往往需要多轮调用与重试。
Stage Routing
依据智能体近期工具调用与结果动态选择处理模型的策略
NVIDIA 开源 NeMo Switchyard 库,可在 Amazon Bedrock 上为编码智能体按请求动态选择模型,并通过 LiteLLM 集成提供阶段路由等策略。文章主张以“每个成功任务的成本”而非单 token 价格衡量路由效果,因为智能体任务往往需要多轮调用与重试。