会不会有一天，我们不能再看懂 AI 的推理过程？

Gemini 3 刚出来，就去 AI Studio 试了一下。留意到侧边参数栏里的 temperature 参数有一个提示：降低 temperature 会影响 Gemini 3 的推理能力。

这让我想起刚接触 AI 的时候就有的疑问：temperature 能够影响输出下一个词的随机性，调低这个值会让 AI 的输出更加的稳定和确定。但问题是，答案不一定在可能性最高的下一个词中啊？调低了会不会反而影响 AI 的智力和发挥呢？

甚至的，我们有任何理由相信我们人类的思维方式是最优的吗？为什么要让 AI 按图索骥般的模仿人类的推理方式呢？

想象一下这样的场景：

问：[一个极难的问题] AI 推理过程：3490jf09j3489ugehg8934g <- 人类无法阅读的随机字符 AI 答：[完全正确]

人类智力是否存在一个“生理极限”？我们人类再也不能理解 AI 的思维？

然后，我把上面的问题给了 Gemini 3 。

释然了。😂

BBrother

3 天前

@elevioux #18

你的想法忽略了科技发展可以提高人类智力上线的可能性。

然后你的类比不太正确，智人的大脑结构和现在的人类一样，如果人类的智力极限是大脑结构决定的，那么智人无法理解微积分 => 现代人无法理解微积分。

人脑是图灵完备的，如果 xxxx 能被人类的符号系统表达，那就能被人类理解。

理论上如果 ai 能通过计算理解并推理的问题，人类可以通过同样的方式进行计算，只不过会很慢。

如果你的 xxxx 是超出了人类符号系统的表达能力的问题，那答案是不知道。

或者你是想讨论「哥德尔不完备定理」之类的东西？

newtype0092

3 天前

@sillydaddy 你这才是一种误解吧，LLM 的数学模型就是个概率模型，不存在对意思的逻辑判断。

长上下文没有偏离是因为 Attention 机制，早期的 RNN 模型上下文过长就是会有问题。

问他 100 遍，仍然只能得到相近的回答，是因为训练数据里的类似场景远超你说的 100 遍这个数量级。

newtype0092

3 天前

@sillydaddy 如果按你说的要通过意思进行真正的逻辑推理，那想要知道糖葫芦是否有名，就需要对知道糖葫芦的人的数量进行大致的统计，或者从相关文献中寻找信息源，这种具体任务已经和 “Language Model” 这个概念完全没有关系了。

sillydaddy

3 天前

@newtype0092 #24
「 LLM 的数学模型就是个概率模型，不存在对意思的逻辑判断」你的意思是 LLM 无法进行逻辑判断吗？
「长上下文没有偏离是因为 Attention 机制」，我反驳的是有人简单的认为 LLM 的概率，是对下一个 token 的概率选择！比如在糖葫芦的例子中，他们认为 LLM 就是在用概率在“没”，“不”，“是”，“对”，“说”，“你”这些字中选择下一个字，所以，他们认为 LLM 就是概率机器，没有理解。而恰恰是这个例子，说明了 LLM 是在对“北京的糖葫芦很有名”表达肯定的回答，无论它以概率选择哪个字，都是如此。

sillydaddy

3 天前

@newtype0092
或者换个说法，当输入「北京的糖葫芦是不是很有名？」之后，模型回答的第一个字是「不」，然后，后续模型该选择什么呢？「不对」？「不是」？「不错」？后续字的选择是按照 LLM 的理解来选择的，而不是说此时「对」、「是」、「错」这 3 个字的概率分别是 1%，1%，98%。我敢说，「不」字后面「对」、「是」这 2 个字的概率，肯定是 0 ！

newtype0092

3 天前

@BBrother @elevioux #21 不知道抽象能力算不算智力的一部分。

比如说最早的程序员是能看懂纸带上的二进制编码的，后来有了汇编以后很多从汇编开始学习的程序员可能就看不懂（不熟练）打孔纸带了，后面有了高级语言后大部分程序员也不懂汇编了，以后如果 vibe coding 越来越流行，可能程序员都不用会编程语言了。。。

抽象能力让人可以在基础概念里总结发明出高级概念，通过高级概念来处理更大数量级的基础概念。
现在花 2 分钟写一个几 k 的 hello world ，编译一个几 MB 的可执行文件，里面就是上千万个 bit ，放到以前给纸带上打孔都不知道要打多久。

这样一层层抽象下去，人脑在硬件不变，处理数据量不变的前提下，能控制的基础概念的量是指数级提升的。
比如司机一脚踩下油门/电门，无数的零部件都在严丝合缝的运作。
医生一针打下去，无数的化学反应、微生物状态变化都在发生。

如果这种抽象是可以无限扩展的，那么人脑就不会是硬件上的瓶颈。

iloveoovx

3 天前

@sillydaddy 本来就是以“意思”为基本单元。各种分词的方式都是比较粗糙的尝试去找“意思”的“元素周期表”。
以一定的概率选择下一个词的确是一个非常浅薄粗糙的理解，但也不能说是错的。更深一点的理解就是向量计算路径在不停地去寻找下一个坐标，所谓的概率不过是概念离得出坐标距离的远近。就像国王-男人+女人=皇后/女王，这个等式在现实中并不存在，但人们都能理解其意义；这意味着所有概念之间都有被我们日常显意识忽略的隐含关系，而这个超越一般语言分辨率所能承载的隐含关系，被我们尝试用高维向量去进行编码供 LLM 使用。

newtype0092

3 天前

@sillydaddy #27 你这个例子里，你说概率为 0 就完全没有道理啊，从原理上就不成立啊。
你要是认为概率是 0 ，起码应该给个理由为什么是 0 吧？

至于你说的实验 1 亿次，1 亿次也不多啊，小概率事件和不可能事件这两个概念的区别总该知道吧。

iloveoovx

3 天前

@cxe2v 你这回复呢，真的只是为了抬杠而抬杠。“本质上也是统计归纳这一个原理” - 是啊，用这个理论一统天下可太方便了：梵高画画是颜料统计归纳，贝多芬作曲是音符统计归纳，哥德巴赫证明猜想是数字统计归纳……那你活着本质上也就是细胞统计归纳了一下分裂，恭喜你，成功把自己降级成单细胞生物。要说唯物主义还原论为什么是人间毒瘤呢，，这就是活生生的洗脑例子。你以为别人想不到你说的问题？ interpolation 和 extrapolation 的区别明白么？你如果潜意识觉得人 somehow 比这个高明，which i actually agree ，该做的不是在这里顺应着自己经历多年洗脑的默认懒惰向量把世界上最聪明的一拨人的尝试还原成“不过如此”的统计归纳来安慰自己，而是去寻找那个高明点到底是啥

cxe2v

3 天前

@iloveoovx #33 所以你不就跟你所表现的那样，用一大堆东拼西凑或者自创的词语来描述一个已经存在很久东西，然后告诉世人，我这就是跟你原来的东西不一样，你东拉西扯用艺术跟 LLM 底层实现技术来类比，正好证明了你的无知，至于 interpolation / extrapolation ，现代模型的外推能力本质上仍来自对高维分布的学习，我才回了一句话你就像被踩了脚的猫一样跳起来，是否是你对这个事情实际上没有深入了解分析，而只是为了用对这些名词的了解来给自己贴上某些标签，好用于在网络上与别人展示

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1173818

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.