littlepanda0716 最近的时间轴更新
littlepanda0716

littlepanda0716

V2EX 第 164555 号会员,加入于 2016-03-23 15:19:10 +08:00
littlepanda0716 最近回复了
本项目已于昨日增加 Web UI Demo 和多文件导入支持,欢迎大家持续关注😁

🔗 https://github.com/imClumsyPanda/langchain-ChatGLM
@uilvn @cwyalpha 可以参考 github.com/THUDM/ChatGLM-6B#%E7%A1%AC%E4%BB%B6%E9%9C%80%E6%B1%82 选择适合显存资源的模型,除此之外 embedding 模型目前选用占用 3G 显存的版本,可以替换为其他小模型。
@elppa chatglm 硬件需求可参考 https://github.com/THUDM/ChatGLM-6B#%E7%A1%AC%E4%BB%B6%E9%9C%80%E6%B1%82

除此之外 embedding 如果也在 gpu 上运行也需要 3G 左右的显存
@WEAlex 不是再训练 是利用本地文档+embedding 构建索引,然后用问句语义到索引中匹配相近段落,再把段落作为上下文和问题一起提供给 llm
@hellojay LLM 方面占用资源可以参考 ChatGLM 硬件需求: https://github.com/THUDM/ChatGLM-6B/blob/main/README.md#%E7%A1%AC%E4%BB%B6%E9%9C%80%E6%B1%82

embedding 模型在本项目中选用 GanymedeNil/text2vec-large-chinese ,在 GPU 上运行时约需要 3GB 显存,也可修改为 CPU 上运行或替换为其他 huggingface 中的 embedding 模型
@infinityv 之前有考虑用 gpt index 做实现,但是后面发现 gpt index 不太灵活,就直接利用 langchain 做实现了,本质上类似于用 gpt index 做的应用。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5499 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 05:49 · PVG 13:49 · LAX 21:49 · JFK 00:49
Developed with CodeLauncher
♥ Do have faith in what you're doing.