术语slug: mixture-of-models

混合模型

Mixture-of-Models

协调多个专业化模型以共同服务不同请求或环境的系统架构方法

收录情报动态

共 1 篇 · 第 1/1 页
vLLM 官方博客T1·开发与工程
68 分
vLLM Semantic Router 迈向混合模型系统:从单点路由升级为多模型协同治理与状态保持架构

vLLM Semantic Router 项目宣布从单纯的模型选择工具演进为“混合模型(Mixture-of-Models)”系统架构,旨在解决单一模型无法适配所有场景的痛点。通过 Iris、Athena 和 Themis 三个主要版本的迭代,该系统已实现跨会话的状态保持与多模型推理治理,目前累计下载量超 30 万次。这一转变标志着 AI 基础设施正从“选对模型”转向“构建可训练、可评估的多模型协作系统”。