大佬们,求助本地部署大模型

212 天前
 jjyyryxdxhpyy

有下面几个要求:

1 、本地部署开源的大模型

2 、有知识库管理

3 、可提供接口

有没有满足的产品呀

5467 次点击
所在节点    问与答
38 条回复
jjyyryxdxhpyy
212 天前
@supergeek1 可以可以,感谢
jjyyryxdxhpyy
212 天前
@kuqma98 感谢
supergeek1
212 天前
@jjyyryxdxhpyy #21 不过这个项目的代码感觉有点杂了(好像也快出 0.3 版本了),如果会开发的话你的需求用 langchain+fastapi 搞一搞也很快能实现
wwhc
212 天前
echoyangjx
212 天前
网易有道这个满足你的需求,https://qanything.ai/
Adelell
212 天前
jackrebel
212 天前
留眼学习
jjyyryxdxhpyy
212 天前
@wwhc 收到
isquare
212 天前
fastgpt 比较符合你的需求,dify 我也用过,但是好像外国人做的水土不服。再一个它支持可视化的高级编排 workflow ,上手比较容易,很方便快速搭建。

1. 本地部署开源大模型,这一点跟知识库本身没关系,你自己随便部署

2. 知识库,fastgpt 我觉得做的比较好,它比较早使用 QA 问答对儿的模式去构建知识库,后来其他框架比如 dify 也抄了这个模式

3. fastgpt 的知识库接口兼容 openai 接口的调用,也有自己的格式(用 chatid 存储对话历史之类的),调用比较方便
jjyyryxdxhpyy
212 天前
@isquare 非常感谢
charexcalibur
212 天前
ollama ➕dify
yukYaoT
212 天前
fastGPT 吧,今天我们也在部署这个
Jat001
212 天前
@isquare #29 dify 都有中文文档,怎么可能是外国人做的,苏州的公司,去年创建的
7VO54YYGvw3LOF9U
212 天前
一直不太懂如果本地部署大模型不是为了商用,有什么意义
jjyyryxdxhpyy
211 天前
@hugi 有些内网环境
jjyyryxdxhpyy
211 天前
@yukYaoT 可以
conglovely
211 天前
我用 ChatGLM3 + Langchain-chatchat 搭起来了
拯救者 4060 8G 显存跑满,还借用了点内存 模型要能再精简点就好了
isquare
211 天前
@Jat001 #33 我描述的是我主观感觉,“好像外国人做的”,体验一般的意思

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1028984

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX