trungdieu031

想问下 OP, 去大理后是自己找的房子还是住数字游民社区？怎么认识其他新朋友的？
我最近也打算去那边，纯 i 人担心去了后一个人比较无聊...

德扑应该是有专用 AI ， 强化学习训练的，我记着挺强...
为啥要用 LLM...

看上面这些个的回答我一时之间有些恍惚，v 站老哥们看来确实都是中上层人士，对中国底层的高龄农民/工的生活状况一无所知！

有推荐养蜜蜂养鸡的，有疑问为啥不补交的，有让去大城市找工作再就业的，有问一辈子积蓄都去哪儿的， 还有竟然这算家里名下百万房产来说事的 ...

如果你真的了解过农村农工，在北方的农村走过一圈，见过空巢老人和农村的衰败，了解过年轻时透支生命带来的伤痛，知道养蜂所需要的精神和体力，养能产生 2 万 RMB 价值的鸡所需要的投入与风险，对中国当下高龄者的就业状况有轻微的了解，就不会说出这么蠢的话来 ...

为什么不补缴呢，一辈子的积蓄呢？
如果有那些补缴的钱，又怎么会有这样的困境；
一辈子的其他积蓄呢？年轻的时候种粮上缴给老爷，年轻的时候进城盖水泥房子，光是活着就拼尽全力了，哪还有什么积蓄

这个问题只有一个解决方案。
做好医保。
每年打钱。

@coefuqin COT 的确是让思考过程更精确。你这里说的又是另一个问题，LLM 能否做出原创性的思考?
归根到底，看你是不是认为人脑的智能的过程都是可计算的。
智能的表现形式里，COT 是一种，但它只能在既有的知识范围内推理，像数学里的演绎。COT 能被 LLM 学习到，转化为 LLM 隐式空间里的向量。
直觉也是智能的一种形式，如果它是可计算，那它必然也能转化为隐式空间的向量。
所以这个问题就变成，你是不是相信大脑有超越图灵机的能力，如果没有，那它必然是可计算的。
至少目前世界上还没有发现能超越图灵机计算能力的实际模型。
实际上没有什么东西是完全无中生有的创造，都是在既有范围内的创新，但范围本身要不断扩大。

@catazshadow 目前来说功耗确实是问题。但在实现 AGI 这个目标面前，功耗带来的成本增加会显得不值一提！

@coefuqin 他那文章说的是，同样的 671B 的模型，用同样的数据训练，他们模型的能力范围是一样大的，比如数据集里没有法文的数据，那你后训练 RL 再怎么跑，也没法回答法文的问题。
那么为什么 COT 会对模型能力尤其是推理能力有提升呢，因为 COT 的训练其实是在强化思考过程，就像对数学里的加法运算一样，这里的 COT 其实就是加法，只不过作用在在不同的名词/实事上，使模型推理能力提升！

@catazshadow 我们说现在“摩尔定律失效“ 一般都在说晶体管尺寸（制成工艺）快要达到物理极限了，显存读取带宽目前还没有达到物理极限。
目前的超大模型都是在集群/分布式训练的， 单卡很少能容纳一个完整的超大参数模型，单卡的 DRM 读取速度不是主要瓶颈，因为卡与卡之间的通信比这个要久，所以未来比这个更大的模型也会采用同样的思路。而且还有其他手段来解决这些问题！

@coefuqin 我建议你不要听风就是雨！
先仔细看看文章说的是啥再来辩经！
他这篇文章的结论是 RL 无法实现超越基础模型能力的推理。RL 只是激发能力做推理过程，文章讨论的模型能力的边界问题。举个例子，如果一个模型在预训练阶段没有在数学集上做过相应的训练，那么 RL 深度思考也是没法表现出来数学的形式计算能力。

开口之前先过过脑子！