ollama+docker 部署的 dify+ Linux 放在外网,如何设置才安全?

233 天前
 icemanpro
ollama 默认绑定 127.0.0.1 。linux 下 docker 不支持 host.docker.internal. 当 ollama 绑定 0.0.0.0 后,ollama 可被其它人使用。
1490 次点击
所在节点    Local LLM
9 条回复
bankroft
233 天前
反代+basic auth
layxy
233 天前
如果是云服务,配置组策略,使用反代作为统一出入口
luckyc
233 天前
既然是生产环境了, 就不要用 ollama 撒, 换成 vLLM
TsubasaHanekaw
233 天前
套壳 openapi,就能有 apiKey 访问了
npe
233 天前
1.安全组
2.vpn
zhengfan2016
233 天前
你 vps 没防火墙? vps 提供商没有防火墙?说实话,即然你 dify 和 ollama 都在同一台 vps 上,干嘛需要暴露端口出来
NSAgold
233 天前
ollama 绑 0.0.0.0 防火墙拒绝非本机访问端口不就好了...
jasonkayzk
233 天前
跑 docker 里面不暴露端口、安全组也不开放。
dify 发布的 API 需要 token 才能调用。
mmdsun
233 天前
3 楼的 vLLM 部署

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1115360

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX