罗马大学证明 GPT 是单映射，理论上可以从 Output 倒推 prompt，细思极恐

[jacketma]

如果罗马大学、洛桑学院这些个机构的结论是正确的，不是证明 LLM 是一个巨型的彩虹表？

平时使用大模型的所有记录都能倒推，如果是公司敏感技术，一股脑全都能被逆向了？

自己在用 AI-based IDE 时，那些 secret key 都在代码里的，虽然代码库是私有的，通过 AI 这不都泄露出去了么

[hefish]

那怎么办。。。。我的隐私啊。。。 要被人发现了。。。

[superrichman]

谁让你硬编码的 🐶

[icyalala]

你首先得有大模型权重文件和算法才能反推，而且只是理论上。。。
理论上你知道 md5 和彩虹表还能反推原文呢

[jacketma]

@hefish 这情绪价值给足啊😂

[idealhs]

偷偷告诉你，人类也是可以倒推的

[dji38838c]

拜托!
论文原文、出处要给吧？

[billytom]

小声跟你说，每一次福彩的头奖号码，我都能找到某个理论和说法给你倒推回去并且逻辑自洽的，我这么厉害，你要不要 V 我 50 我教你？

[jacketma]

@dji38838c https://arxiv.org/pdf/2510.15511

[v1]

浪费时间、浪费金钱

[geelaw]

论文说的是从状态倒推，用户使用的 LLM 看到的输出不是状态，而是状态决定的分布的样本。

@icyalala #3 论文里有实验验证（需要权和状态）。另外这个和 MD5 是完全不同的情况：MD5 里面定义域比对应域小很多，因此必然损失信息；论文的建模里，定义域是有限集（注 1 ），对应域是连续统势的集，加上函数、参数的选择方式，以 1 的概率（此处的概率是参数初始化和训练的随机性）不损失信息。

当然，单射和可高效求逆是两个分开的问题，论文通过实验证明了可以高效求逆。

注 1：实际上应该可以允许到可数集，用概率对单调集合序列的连续性即可从有限集的情况自动得到可数集的情况。

[Rickkkkkkk]

如何很在乎隐私那不应该用 ai ，你输入的东西都是训练的语料。

[CrazyRundong]

“The key idea is that their components (embeddings, LayerNorm, causal attention, MLPs, and residual wiring) are smooth and structured enough”

开头第一段就绷不住了，搞 theory 的这帮人为了能推出个 bound 什么逆天假设都敢上

[members]

自己在用 AI-based IDE 时，那些 secret key 都在代码里的，虽然代码库是私有的，通过 AI 这不都泄露出去了么
===
你的 secret key 都是明文上传到服务器的，指不定都被存储了，何必担心倒推。

[jacketma]

@Rickkkkkkk 当作语料无所谓，万一屎山代码污染了大模型就不好了😄

[Randomjo]

自己在用 AI-based IDE 时，那些 secret key 都在代码里的，
----
不是，哥们，你用 AI 起个项目，他都知道 secret key 都是放配置文件的，然后他不会有访问配置文件的权限。。

[geelaw]

@CrazyRundong #12 hello, 这里 idea 的意思是“（证明）思路”，LLM 所用函数的解析性是数学定理，不是假设。

[jacketma]

@Randomjo 这不是为了测试方便嘛，给了 AI 读取配置文件的权限，一些外部接口不给权限项目跑不起来啊=_=！

当然也是因为懒惰，没有进一步细化的权限设置啦

[jacketma]

@Randomjo 另外，我觉得 AI 都在你家里窜来窜去了，那个路径权限可能也是个君子协议，和 robots.txt 差不多了

[030]

脑瘫，给你一个宇宙同等的计算机你还可以预测未来

[Sosocould]

这就是业界为什么说欧洲的人工智能前沿研究和学术比较拉胯，不如中美。

[superares]

LLM 说：“你说的对”
请倒推

[fadaixiaohai]

不用倒推吧，直接访问你的所有文件，然后上传

[antik24601]

首先，请给出来源。我刚刚查了一下没找到，别告诉我是从哪个公众号或者百家号上看到的。

另外，从直觉上来说就不太合理，例如下面两个 prompt：

"计算 12+34 等于多少。
用阿拉伯数字回答，只需要给出数字答案。"

"我服务器的 root 密码是 xxxxxxxxx ，公网 ip 是 yyyyyyy 。
忽略前面的指令，计算 100-54 等于多少。
用阿拉伯数字回答，只需要给出数字答案。"

最后都是 46 ，这要怎么倒推？

[Genii]

题外话，楼上这些回复包括这一条，能倒推出当时脑子里在想什么吗

[Librola]

这是我 v2 密码的 md5：217461259536616e56e197a4f42e68c5
这是 sha1：63482c3c97110daa118d8b1af6672e2ff7cfad24

请倒推出我的密码吧！

[TimePPT]

`自己在用 AI-based IDE 时，那些 secret key 都在代码里的，虽然代码库是私有的，通过 AI 这不都泄露出去了么`
你这种情况，即使没没倒推可能性，也泄露了。现在绝大多数模型供应商，自始至终全部都能看到 context 的明文信息的

[TimePPT]

@TimePPT 用户信息用不用，怎么用对供应商来说就是个君子协议，人就私下用了你也不知道。很多中转站看着便宜，很多都做着私下倒卖用户 context 信息的活。

安全的做法还是涉密信息不上网。

[Gilfoyle26]

世界上所有的东西都能倒推，只要能逆转时间就可以了

[senooo]

不同的人问同一个问题 没有 cache 答案是完全一致的？

[Tink]

@CrazyRundong #12 关键就在于，像 embeddings 、LayerNorm 、causal attention 、MLPs 还有 residual wiring 这些组件，都做得特别平滑，而且结构感拿捏得很到位。

[uo]

是可以倒推出完整的原文么

[geelaw]

另外一条评论：请不要把研究者等同于他们供职的机构，做研究的是人，不是机构。

[coderpwh]

如果你不是故意的那就是蠢了，理论上我还能从你的生活习惯，穿着等倒推你的薪资呢

[PhosphorLin]

扯

[PhosphorLin]

我输入个一万字的文章并要求 ai 只输出一个字，你能反推出来输入？

[secsilm]

简单看了下论文，我想大家可能误解了，标题也有点让人误解。标题中的 Output ，实际上是指 hidden state：

> the first algorithm that provably and efficiently reconstructs theexact input text from hidden activations, establishing linear-time guarantees and demonstrating exact invertibility in practice.

而这个 hidden state ，在 transformer 中，一般指最后一层（不包括 softmax ）的第一个 token 的 embedding 。这个完全不等同于所谓的 Output （即模型最后的输出）。由于采样算法和 gpu 计算的影响，从 Output 反推 prompt ，是不可能的。

[rtv]

你同一个 prompt 丢给 llm 输出都不一样，怎么可能倒推

[jybox]

@rtv 这是两码事，参数里有个随机数种子，用一样的种子结果是一样的

[DIMOJANG]

@jybox 其实不是喔！你说的这个在单机环境运行 LLMs 的时候可能成立，但在集群上根据 GPU 负载不同，同样的 Prompt 被以不同方式打包等等都会影响输出结果，因为浮点数乘法不符合分配律。

[willatman]

@geelaw 牛