罗马大学证明 GPT 是单映射，理论上可以从 Output 倒推 prompt，细思极恐

LLM 说：“你说的对”
请倒推

不用倒推吧，直接访问你的所有文件，然后上传

首先，请给出来源。我刚刚查了一下没找到，别告诉我是从哪个公众号或者百家号上看到的。

另外，从直觉上来说就不太合理，例如下面两个 prompt：

"计算 12+34 等于多少。
用阿拉伯数字回答，只需要给出数字答案。"

"我服务器的 root 密码是 xxxxxxxxx ，公网 ip 是 yyyyyyy 。
忽略前面的指令，计算 100-54 等于多少。
用阿拉伯数字回答，只需要给出数字答案。"

最后都是 46 ，这要怎么倒推？

题外话，楼上这些回复包括这一条，能倒推出当时脑子里在想什么吗

这是我 v2 密码的 md5：217461259536616e56e197a4f42e68c5
这是 sha1：63482c3c97110daa118d8b1af6672e2ff7cfad24

请倒推出我的密码吧！

`自己在用 AI-based IDE 时，那些 secret key 都在代码里的，虽然代码库是私有的，通过 AI 这不都泄露出去了么`
你这种情况，即使没没倒推可能性，也泄露了。现在绝大多数模型供应商，自始至终全部都能看到 context 的明文信息的

@TimePPT 用户信息用不用，怎么用对供应商来说就是个君子协议，人就私下用了你也不知道。很多中转站看着便宜，很多都做着私下倒卖用户 context 信息的活。

安全的做法还是涉密信息不上网。

世界上所有的东西都能倒推，只要能逆转时间就可以了

不同的人问同一个问题 没有 cache 答案是完全一致的？

@CrazyRundong #12 关键就在于，像 embeddings 、LayerNorm 、causal attention 、MLPs 还有 residual wiring 这些组件，都做得特别平滑，而且结构感拿捏得很到位。

是可以倒推出完整的原文么

另外一条评论：请不要把研究者等同于他们供职的机构，做研究的是人，不是机构。

如果你不是故意的那就是蠢了，理论上我还能从你的生活习惯，穿着等倒推你的薪资呢

扯

我输入个一万字的文章并要求 ai 只输出一个字，你能反推出来输入？

简单看了下论文，我想大家可能误解了，标题也有点让人误解。标题中的 Output ，实际上是指 hidden state：

> the first algorithm that provably and efficiently reconstructs theexact input text from hidden activations, establishing linear-time guarantees and demonstrating exact invertibility in practice.

而这个 hidden state ，在 transformer 中，一般指最后一层（不包括 softmax ）的第一个 token 的 embedding 。这个完全不等同于所谓的 Output （即模型最后的输出）。由于采样算法和 gpu 计算的影响，从 Output 反推 prompt ，是不可能的。

你同一个 prompt 丢给 llm 输出都不一样，怎么可能倒推

@rtv 这是两码事，参数里有个随机数种子，用一样的种子结果是一样的

@jybox 其实不是喔！你说的这个在单机环境运行 LLMs 的时候可能成立，但在集群上根据 GPU 负载不同，同样的 Prompt 被以不同方式打包等等都会影响输出结果，因为浮点数乘法不符合分配律。

@geelaw 牛