有没有支持同态加密的大语言模型？

[gullitintanni]

现阶段在本地搭建大模型的成本较高，而且效果往往相比满血模型有较大差距，所以很多场景下我们还是得选择大厂提供的大模型服务。

而使用大模型服务则涉及到一个信息泄露的问题，比如个人隐私，或者公司的商业秘密等。所以在用的时候往往有顾虑，甚至不少公司禁止员工使用自己公司以外的大模型服务。

如果能将同态加密技术应用于大语言模型，喂给大模型加密后的输入，返回加密后的输出，用自己的密钥解密后就能得到有意义的明文输出。只要密钥没有泄露，对于大模型服务提供方来说，就是 garbage in garbage out 。这样就解决了信息泄露问题。

我搜索了一下，找到了几篇将同态加密应用到大语言模型的相关论文。看上去是可行的，但目前似乎处于实验阶段，且成本较高。市面上的大模型服务，也没有声称支持同态加密的。

所以 V 站相关从业者，可以聊聊目前这方面的进展和挑战大概是什么样的，以及距离普及还有多远。

[pweng286]

话说"喂给大模型加密后的输入"
大模型还能理解加密后的输入吗

[TimePPT]

请求公网模型前把敏感实体 mask 掉脱敏就完了，如果和模型答案强相关的，比如地点，mask 到县市一级就行，基本上是合规的。
相关库可以看下 MS 的 Presidio ？
https://github.com/microsoft/presidio

[geelaw]

@pweng286 #1 大模型不需要理解加密后的输入，做的运算是大模型的同态作用。（同态加密的意义就是可以把任何运算都在密文里面进行，而不需要知道明文。）

如果大模型不经常更新的话，用 (F)HE 有点大炮打蚊子，可以用凝练的函数求值（ laconic function evaluation ）。但我对两者的实践都不是很了解，而且我的猜测是：现阶段它们的效率还不足以在可以容忍的时间内算完 LLM 一轮作用。

[rrfeng]

很有意思的话题，说不定 llm 还真是首先能实现（伪）同态加密的服务…
fhe 就算了…

[sillydaddy]

4 年前我问过一次： /t/700927 。可以看下里面 10 楼的回复。
而且我觉得 @rrfeng 说的有道理，大模型需要的运算类型，似乎非常单一，反而最容易应用同态加密。