怎么快速判断 AI 是否降智 我现在心态已经崩了..........一直在跟 ai 说三字经........

17 天前
 dreamkuo

遇到一个很头疼的问题,希望大家帮忙想想办法:

问题描述: 在使用 AI 协助工作时,经常遇到 AI"智商下降"的情况,但这种状态很难被直观识别,导致浪费大量时间。

核心难点: AI 智商高低都会犯错,关键区别在于纠错模式:

• 高智商状态:虽然会犯错,但经过几轮纠正后能走向正确方向,最终解决问题

• 低智商状态:会在错误的道路上反复纠错,每次纠错又产生新的错误,形成恶性循环,越纠越偏

识别困难: 低智商 AI 依然表现得"很努力在解决问题",看起来积极主动,但实际上是在错误的路径上越走越远。因为高智商 AI 也会犯错,所以单纯看"是否出错"无法区分。

实际影响: 今天就遇到了这种情况,AI 花了几个小时在一个本来很简单的任务上打转,明显已经没有能力完成需求了,但从表现上看不出来。

求助内容: 有没有什么快速测试方法,能在短时间内(比如 5 分钟内)判断 AI 当前是否处于"降智"状态?避免在低效状态下浪费时间?

1629 次点击
所在节点    Claude
8 条回复
gelen98
17 天前
推荐火山引擎的 豆包 1.6
1 开启思考模式,很难降智。
2 便宜,使用 API 一个月 100 不到
3 辅助开发效果很好,把文档给 ai ,写清楚需求,基本上都可以两遍改好。

openai 有经常降智的骚操作不推荐。
各种整合平台,都很有可能降智,不然他们怎么赚钱?也不推荐。

claude 拉动美国和中国人的对立,是一家忠实的美国公司,虽然不会降智,不过不推荐用。

豆包虽然没有像 qwen 那样开源,不过用 API 都是一样付费的。貌似还便宜一点?
cest
17 天前
靠经验,看回复的口音
每个人的 prompt 写法都不太一样
不同 model 回你的定型文也不太一样

用多了,就能听出 llm 说话就是那几个口音(每个 model 都有自己的几个)
如果来了个口音重的,你脑海里都是那味道了
就该知道这个 session 已经完了,请到无敌嘴炮王了

不如重新开始,重写初始 prompt
祈祷这次能 roll 到好分支上,召唤到有用的大神
xuejianxianzun
17 天前
@cest 哈哈,原来这也有随机要素
sublime8
17 天前
重新开一个会话。因为上下文被严重压缩,所以看起来一直在绕圈圈,不开新会话没法解决。
likooo125802023
17 天前
快来看,有人用 AI 用的魔怔了。
ijse
16 天前
再开另一个 AI 监视它的回答,把问题抛给另一个 AI 解决
aarontian
16 天前
同 2L ,我觉得就是凭经验,辨别口音,和能力(不太好观察,除非能力有明显下降)

想精准点就只能是跑 benchmark 之类的,但可能不太适合个人去做
julyclyde
16 天前
三字经也算钱哦

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1157592

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX