工具slug: litellm访问官方网站

LiteLLM

开源 LLM 网关与 SDK,将多家模型供应商统一为 OpenAI 兼容接口

收录情报动态

共 2 篇 · 第 1/1 页
AWS Machine Learning BlogT1·开发与工程
62 分
NVIDIA 开源 Switchyard 按任务成本路由编码智能体

NVIDIA 开源 NeMo Switchyard 库,可在 Amazon Bedrock 上为编码智能体按请求动态选择模型,并通过 LiteLLM 集成提供阶段路由等策略。文章主张以“每个成功任务的成本”而非单 token 价格衡量路由效果,因为智能体任务往往需要多轮调用与重试。

AWS Machine Learning BlogT1·开发与工程
52 分
基于 Bedrock 与 LiteLLM 构建自助式 LLM 网关

AWS 官方博客介绍如何用 Amazon Bedrock Application Inference Profiles 配合 LiteLLM 在 Fargate 上搭建自助式 LLM 网关,将 Bedrock 抽象为 OpenAI 兼容 API。开发者用单一密钥即可访问基础模型,平台方则获得按用户成本归因、延迟与错误可观测性以及统一访问控制。