Hacker News AIT2·开发与工程
62 分
Flide 是一款面向 Jev 类决策模型的高性能精确推理引擎，借助精确状态分叉实现较 vLLM 与 SGLang 最高 9.5 倍加速，并保证输出与单次独立推理完全一致。它已支持 30 多个本地决策模型，提供 /v1/systemone 接口，可通过 pip 直接安装。
面向 Jev 类决策模型的精确高性能推理引擎，宣称较 vLLM 与 SGLang 提速最高 9.5 倍
Flide 是一款面向 Jev 类决策模型的高性能精确推理引擎，借助精确状态分叉实现较 vLLM 与 SGLang 最高 9.5 倍加速，并保证输出与单次独立推理完全一致。它已支持 30 多个本地决策模型，提供 /v1/systemone 接口，可通过 pip 直接安装。