大佬们，求助本地部署大模型

[jjyyryxdxhpyy]

有下面几个要求：

1 、本地部署开源的大模型

2 、有知识库管理

3 、可提供接口

有没有满足的产品呀

[jjyyryxdxhpyy]

@supergeek1 可以可以，感谢

[jjyyryxdxhpyy]

@kuqma98 感谢

[supergeek1]

@jjyyryxdxhpyy #21 不过这个项目的代码感觉有点杂了（好像也快出 0.3 版本了），如果会开发的话你的需求用 langchain+fastapi 搞一搞也很快能实现

[wwhc]

github.com/zylon-ai/private-gpt

[echoyangjx]

网易有道这个满足你的需求，https://qanything.ai/

[Adelell]

https://lmstudio.ai/

[jackrebel]

留眼学习

[jjyyryxdxhpyy]

@wwhc 收到

[isquare]

fastgpt 比较符合你的需求，dify 我也用过，但是好像外国人做的水土不服。再一个它支持可视化的高级编排 workflow ，上手比较容易，很方便快速搭建。

1. 本地部署开源大模型，这一点跟知识库本身没关系，你自己随便部署

2. 知识库，fastgpt 我觉得做的比较好，它比较早使用 QA 问答对儿的模式去构建知识库，后来其他框架比如 dify 也抄了这个模式

3. fastgpt 的知识库接口兼容 openai 接口的调用，也有自己的格式（用 chatid 存储对话历史之类的），调用比较方便

[jjyyryxdxhpyy]

@isquare 非常感谢

[charexcalibur]

ollama ➕dify

[yukYaoT]

fastGPT 吧,今天我们也在部署这个

[Jat001]

@isquare #29 dify 都有中文文档，怎么可能是外国人做的，苏州的公司，去年创建的

[7VO54YYGvw3LOF9U]

一直不太懂如果本地部署大模型不是为了商用，有什么意义

[jjyyryxdxhpyy]

@hugi 有些内网环境

[jjyyryxdxhpyy]

@yukYaoT 可以

[conglovely]

我用 ChatGLM3 + Langchain-chatchat 搭起来了
拯救者 4060 8G 显存跑满，还借用了点内存 模型要能再精简点就好了

[isquare]

@Jat001 #33 我描述的是我主观感觉，“好像外国人做的”，体验一般的意思