做了一个可以在内网环境下使用的 ai(模型文件一键导入即可使用)

1 天前
 alexjoker467

由于本人的工作环境处于离线断网又有点保 m 的状态,干什么事情都很费劲。得益于现在科技的发展和祖国的强大,让我有机会去实现一个可以在内网环境下离线部署的 AI 。

主机从 9090 提供入口。聊天、图片理解和 Embedding 通过 Ollama 运行;图片生成则用单独的本地图片运行组件。平时可以在同一个工作台里对话、问文件和资料库、识图、生成或修改图片,也能查看主机状态。

多人一起用时,默认最多接纳五条活跃请求:两条同时推理,另外三条排队。模型权重不随安装包提供,需要按自己的机器和用途准备。Windows 完整版带图片运行组件; Ubuntu 的图片生成还得另备兼容系统环境的 Linux sd-server。这部分目前确实比聊天多一道准备步骤。

当前正式版是 v1.2.0 ,提供 Windows 10/11 x86_64 和 Ubuntu 22.04 x86_64 完整安装包。服务是给可信局域网用的,请不要把 9090、Ollama 或图片运行组件端口直接暴露到公网;模型能不能跑、速度如何,也取决于具体模型和机器配置。

仓库、安装说明和模型兼容范围:

670 次点击
所在节点    分享创造
3 条回复
vendettazhuang
1 天前
保 m ?现在简体中文已经慢慢要变成另外一门语言文字了吗?
alexjoker467
1 天前
@vendettazhuang 哈哈哈哈哈 涉密
vendettazhuang
18 小时 16 分钟前
@alexjoker467 哈哈哈,习惯了吧。内网自己建模型确实爽。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1244905

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX