工具slug: nemo-switchyard

NeMo Switchyard

NVIDIA 开源的多模型请求路由库,支持自定义模型集合与路由策略

收录情报动态

共 1 篇 · 第 1/1 页
AWS Machine Learning BlogT1·开发与工程
62 分
NVIDIA 开源 Switchyard 按任务成本路由编码智能体

NVIDIA 开源 NeMo Switchyard 库,可在 Amazon Bedrock 上为编码智能体按请求动态选择模型,并通过 LiteLLM 集成提供阶段路由等策略。文章主张以“每个成功任务的成本”而非单 token 价格衡量路由效果,因为智能体任务往往需要多轮调用与重试。