这是一个创建于 492 天前的主题，其中的信息可能已经有所发展或是发生改变。
nas 里存了一些文件
众所周知大模型可以实现对这些文件的自然语言对话，打造一个私有助理
那么，有木有这种方案，可以设置一个文件夹，通过容器部署，实现对这些文件的对话，同时可以 gpt 或者其他大模型进行兜底
nas 是黑群晖，性能还可以
众所周知大模型可以实现对这些文件的自然语言对话，打造一个私有助理
那么，有木有这种方案，可以设置一个文件夹，通过容器部署，实现对这些文件的对话，同时可以 gpt 或者其他大模型进行兜底
nas 是黑群晖，性能还可以
 |
1
jr55475f112iz2tu 2024-05-06 22:10:20 +08:00
你对于流畅运行端侧大模型的配置需求有误解
|
 |
2
AS4694lAS4808 2024-05-06 22:46:48 +08:00 via Android
NAS 如果有显卡，本地部署 7B+模型和全量 RAG 可以实现楼主的功能，如果没有，只能放弃隐私用云端 LLM+短分片 RAG 了，7B 以下的模型都是凑活事的。我司倒是在做类似产品，也有量化和压缩的 2B 高通端侧模型，不过业余是 toB 的
|
 |
3
LuckyLauncher 2024-05-07 13:33:35 +08:00
“性能还可以”
A100? |
 |
4
PerFectTime 2024-05-07 21:36:12 +08:00
跑大模型也费电啊
|
Select Language