AWS Machine Learning BlogT1·开发与工程
62 分
NVIDIA 开源 NeMo Switchyard 库,可在 Amazon Bedrock 上为编码智能体按请求动态选择模型,并通过 LiteLLM 集成提供阶段路由等策略。文章主张以“每个成功任务的成本”而非单 token 价格衡量路由效果,因为智能体任务往往需要多轮调用与重试。
开源 LLM 网关与 SDK,将多家模型供应商统一为 OpenAI 兼容接口
NVIDIA 开源 NeMo Switchyard 库,可在 Amazon Bedrock 上为编码智能体按请求动态选择模型,并通过 LiteLLM 集成提供阶段路由等策略。文章主张以“每个成功任务的成本”而非单 token 价格衡量路由效果,因为智能体任务往往需要多轮调用与重试。
AWS 官方博客介绍如何用 Amazon Bedrock Application Inference Profiles 配合 LiteLLM 在 Fargate 上搭建自助式 LLM 网关,将 Bedrock 抽象为 OpenAI 兼容 API。开发者用单一密钥即可访问基础模型,平台方则获得按用户成本归因、延迟与错误可观测性以及统一访问控制。