让你的 Jev 模型最高加速 9 倍，决策推理引擎 Flide 开源

[hjdhduyeh]

Flide

V 站的朋友们大家好，我们开发了一个面向本地部署的决策模型的推理引擎，相比于 vLLM 和 SGLang 等 LLM 框架，在决策任务上可最高加速 9.5 倍。目前已经支持三十多款 Jev 模型，更多模型还在陆续接入中。

代码已经开源，可直接 pip 下载
pip install flide

文档：https://docs.flide.org
代码：https://github.com/OmniJev/flide
网站：https://flide.org
安装包：https://pypi.org/project/flide/

欢迎大家关注、试用和并提建议！

[hanfengzxh]

先 star 找时间再试试

[hjdhduyeh]

@hanfengzxh 感谢支持！🙏欢迎反馈