术语slug: semantic-routing

语义路由

Semantic Routing

基于输入内容的语义理解而非关键词匹配来分发请求的技术

收录情报动态

共 4 篇 · 第 1/1 页
vLLM 官方博客T1·开发与工程
68 分
vLLM Semantic Router 迈向混合模型系统:从单点路由升级为多模型协同治理与状态保持架构

vLLM Semantic Router 项目宣布从单纯的模型选择工具演进为“混合模型(Mixture-of-Models)”系统架构,旨在解决单一模型无法适配所有场景的痛点。通过 Iris、Athena 和 Themis 三个主要版本的迭代,该系统已实现跨会话的状态保持与多模型推理治理,目前累计下载量超 30 万次。这一转变标志着 AI 基础设施正从“选对模型”转向“构建可训练、可评估的多模型协作系统”。

vLLM 官方博客T1·开发与工程
68 分
vLLM Semantic Router 引入 Fusion 原语:实现多模型面板协同与裁判合成路由

vLLM Semantic Router 推出名为“Fusion”的新路由原语,旨在解决单一模型服务在复杂生产环境中的局限性。该功能允许请求同时分发给多个不同特性的模型(如快速、廉价或私有模型),并由一个“裁判模型”分析各模型输出的共识与差异,最终合成统一答案。这一机制将多模型协同从离线研究转化为可编程、可观测的在线服务标准组件,提升了系统对多样化需求的适应能力。

vLLM 官方博客T1·开发与工程
68 分
vLLM Semantic Router v0.3 Themis 发布:实现从信号到状态化生产路由的闭环

vLLM Semantic Router v0.3 (代号 Themis) 正式发布,标志着语义路由进入可观测、有状态的生产就绪阶段。该版本通过整合超过 350 次提交,确立了“信号-投影-决策-算法-模型”的统一契约,显著提升了路由器在 Kubernetes、CLI 及 Dashboard 中的操作一致性与安全性。

vLLM 官方博客T1·开发与工程
78 分
vLLM 推出 SAAR 会话感知路由:消除长程 Agent 模型切换断点并降本 79%

vLLM Semantic Router 引入会话感知智能体路由(SAAR)策略,通过路由器自持会话记忆与硬锁机制解决长程 LLM Agent 的模型切换断裂问题。该方案在 21,600 次确定性测试中将模型切换次数减少 79.29%,物理模型成本降低 78.71%,并在 AMD ROCm 实机验证中实现零会话连续性违规。