会不会有一天，我们不能再看懂 AI 的推理过程？

你是可以理解汇编的

那个推理过程之所以是人类能看懂的，是因为训练数据就是这样的啊。。。至于推理过程实际上对 llm 的作用，那其实并非你所看到的那样，很多时候只是单纯的给的 token“预算”多了，更有可能联系到正确答案而已（然后通过强化学习等方式加强这一倾向性）

快了，等 AI 能自我优化的时候

我觉得这个问题的出发点原因之一是认为人聪明到可以理解一切，而这是盲目自大的想法

会的。相对应于《计算机组成原理》，以后会有一门课程叫《 AI 运行原理》

现在下棋那些不就看不懂 AI 为什么这么下了。

不用有一天，现在神经网络对于任何人来说都是个黑盒子

围棋 AI ，人类不知道 AI 为什么那样下棋，最顶尖的人类棋手都无法完全理解，只能猜测和学习。

另外，关于这个问题 “我们有任何理由相信我们人类的思维方式是最优的吗？为什么要让 AI 按图索骥般的模仿人类的推理方式呢？”

也可以参考围棋 AI ，第一代 AlphaGo 通过学习人类棋谱来训练，但后续新版采用了另一种方法，完全不学习人类棋谱，而是让 AI 自己和自己对弈，结果水平更高。也就是说，人类棋谱（人类经验）会拖后腿。

以文字形式进行 CoT 很难说是最高效的方法，是这种形式大概仅仅是这样的训练数据比较好构建。目前也有一些所谓“latent thinking”的设想，也就是使用人类不可读的 tensor 来更高效得作为“思考”的中间表示，不过目前还没有太成熟的工作
实际上 AI 的“原理”早就是黑箱了，只是目前 LLM 以文字形式进行的 CoT 给人了一种“看懂它思考过程”的假象

“但问题是，答案不一定在可能性最高的下一个词中啊？”

LLM 不是筛选出一个可能的答案列表来给你选，是在这个语言所有的单词的全集中根据可能性打分，你能推理出的下一个词一定在这个语言的全集里。

假设你模型的 token 表就是 [我，吃，喝，苹果，香蕉，面包，汽水]，想推理 [吃] 后面出现的词，也是还是对这七个词进行计算，而不是先筛选出 [苹果，香蕉]，再从里面选一个。

Temperature 低
最后结果的概率分布就可能是 [苹果 50%，香蕉 25%，面包 15%，汽水 5%，喝 3%，我 1%，吃 1%]
概率差异大，随机的结果就更容易命中前面的。

Temperature 高
最后结果的概率分布就可能是 [苹果 20%，香蕉 18%，面包 18%，汽水 16%，喝 13%，我 10%，吃 5%]
概率差异小，后面的低概率的答案更有可能被选中。

@newtype0092 现在的模型已经不是这一套玩法了，你在网上看的科普视频已经过时

AI 的进化突破了，自然人看不懂，或者说跟不上 AI 的智力我觉得很正常后果。
但是能不能进化成功，现在还是未知的。

逻辑问题。

其实本来就看不懂，但为什么现在能看懂，那是因为 AI 用人类能看懂的方式来解释罢了
担心将来 AI 让人看不懂，其实是担心 AI 将来愈发强大
但愈发强大的 AI 在“让人看懂”这方面肯定也会功力越强

AI 大模型本来就是个黑箱，你只能控制进去的内容，根据出来的结果是不是符合预期，不符合就继续调黑箱的参数，至于黑箱里到底是怎么炼丹的程序员自己都不知道

说的像是你现在就能看懂 ai 怎么推理的一样。

> 人类智力是否存在一个“生理极限”？

在牛顿那个时代只有顶级的科学家才理解微积分，现在是个高中生都能理解。

> 我们人类再也不能理解 AI 的思维？

我觉得不管多么复杂的推理过程都能通过分治法来理解。

@usn #11 那现在是什么新的原理，有没有新的科普链接，发一个来学习一下

现代的 AI 不都是概率问题吗？

@BBrother 举个例子，有些狗很聪明，能听懂人类的简单指令，但你不可能让狗学会微积分，因为狗的大脑的生理构造如此，大脑皮层就这么多。

同理：有些人类很聪明，能够学会微积分，但你不可能让人类学会《 XXX 》，因为人类的大脑的生理结构如此，大脑皮层就这么多。

应该会。
但不是会不会“看不懂”，而是会不会“不愿意去看”。
复杂性在一层一层地向上封装。

我觉得对 LLM 的一个误解（或者说被误导），就是认为 LLM 是以词作为下一个拣选单位，认为它是在以一定的概率选择下一次词（ token ）。
为什么不能是以“意思”作为拣选单位呢？

用一个 v 友举的一个对话例子：
A： 北京的糖葫芦是不是很有名？
B： 没错！尤其是在冬天，街头的小贩会卖糖葫芦，山楂蘸上糖浆，酸甜可口。
A： 真想买一个尝尝，感觉很有童年回忆！

在输入 “北京的糖葫芦是不是很有名？”之后，LLM 要回答肯定的意思的话，就有多种方式，“没错”，“不错”，“是的”，“对的”，“说的太对了”，“是呀”，“你猜对了”，“你怎么知道？”，LLM 可以以一定概率选择这些词里面的一个，那么第一个字，就可能是“没”，“不”，“是”，“对”，“说”，“你”这些里面中的任一个。但无论选择哪个，它都是为了表达肯定的意思，而是否表达肯定的意思，恰恰反映了 LLM 对这个问题的理解！不是说以一定概率选择某个词，就说明了 LLM 是随机的选择哪个，没有任何理解能力。否则，如果 LLM 是以词元作为选择的单位的话，怎么解释 LLM 在输出成千上万 token 之后，仍然没有偏离问题而出现意思上的胡言乱语呢。为什么你问他 100 遍，仍然只能得到相近的回答呢？