本地部署 AI 的意义在哪里？涉密？

[pdog18]

DeepSeek 出来以后我个人在互联网上总是会刷到一些本地部署的相关内容，不明白意义何在

[craftx]

1. “安全”
2. 宏观经济发展需要
3. 懂的都懂

[craftx]

不知道有没有人听说过 当年某地方 gov 采购一批 iphone 当 u 盘

[civetcat]

平时碰到比较多的大概就是网络问题，隐私问题，以及各种产品本身的限制，本地部署可以很方便的解决这些问题，没有任何限制，可以随意折腾适合自己的。目前本地部署的门槛还是太高了，性能也稍微弱一点

[uncat]

本地 4 块 3090 。

2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。

因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。

[Felldeadbird]

你可以自行调教自己的 AI ，前提你有技术和硬件。

大部分公司都没这个能力。然而不少公司却追求：本地部署，生怕错过了时代风口。

[Leeeeex]

内部微调
我朋友他们公司买了 20 张 4090 10 张 h20 专门训练，针对自己的业务内部训练。

[pinocc012]

公司政策是禁止任何数据上互联网，当然也就不能用任何公网的云服务

[dayeye2006199]

99%的情况都没啥意义。搞台大点的机器，ollama run 一下不叫本地部署。
数据安全隐私这些东西，最好是靠法律法规来保障。

[Revenant]

原因

[ccdjh]

其实是有意义的。公司会遇到财务与业务的不对等信息，库存与资金的不对等信息。有些业务员能通过延迟拖欠几十万款项，有些库存的折旧或变卖，能中饱私囊的。信息的公开并不等于老板或决策层能读懂的。不用过万，但凡过千的数据，都需要总结才能读懂。

AI 能让减少缩短这个时间差。让老板和决策层更清晰的知道信息，能压缩到几分钟的事情。
因为工作的拖延性，处理一项事情，拉长几天，或者一个星期以上是很常见的。

AI 可以综合处理，提高决策效率，而且不会有根据自己的利益，对事情的描述的人为偏袒。

[billwang]

开源了就有人开始“创新”了。某些单位好像部署一套以后就是自己开发的一样，LD 面子也有了，下面政绩也出来了。

[yianing]

2000 块跑满血 671b ，垃圾佬的快乐

[asdjgfr]

@yianing 2000 就能跑满血？都什么配置呀？买矿渣也不够吧

[dododada]

公司上了规模就会有数据安全的要求，一个是自身发展的需要，一个是安全合规的需要

[skytenlc]

政务信息

[yufeng0681]

企业，单位老生常谈的泄密，隐私保护解决了， 就能迎来一大批的商业化项目 [忽悠上面领导做项目的核心痛点被解决了，可以开始捞钱了]

[clemente]

LOCAL FIRST

[levelworm]

涉密加回答更加精准吧？

[clino]

你如果是负责公司安全的人员，或者是某个业务的领导，可能会对因为使用云 api 导致内部信息泄漏的事故负责背锅，那么你在做出放行使用云 api 的时候会不会思虑再三？
更别说涉及政府机关内部信息这种更敏感的了。
这和某个干活的人，知道自己涉及的信息没什么要紧的就随意使用是很不一样的。

[CodeAllen]

最大的优势就是隐私保护，对于企业来说，尤其是涉密企业，事儿可以不干但千万不能泄露信息。
而且企业的数据，比如内部文档、内部代码，给到外部系统做处理，原则上外部系统是需要保护客户隐私，实际上能不能保护到位那是另外一回事儿，数据不出域是最稳妥的。