有人在 colab 上通过 chatglm.cpp 部署 ChatGLM3 模型过吗，有个问题想请教下，运行时内存没有变化
daxiaolaogui · 2024-04-11 10:34:49 +08:00 · 317 次点击这是一个创建于 562 天前的主题，其中的信息可能已经有所发展或是发生改变。
通过
python3 chatglm.cpp/chatglm_cpp/convert.py -i /content/chatglm3-6b -t f32 -o chatglm-ggml.bin
得到的模型
能跑起来，也能正常回答，就是内存占用没有变化，而且速度极慢（ 1-2 分钟回答）
是哪里出了问题，有没有排查的方向吗
v2ex 怎么发图片。。。
python3 chatglm.cpp/chatglm_cpp/convert.py -i /content/chatglm3-6b -t f32 -o chatglm-ggml.bin
得到的模型
能跑起来，也能正常回答，就是内存占用没有变化，而且速度极慢（ 1-2 分钟回答）
是哪里出了问题，有没有排查的方向吗
v2ex 怎么发图片。。。
目前尚无回复
Select Language