为什么相同的提问, API 和聊天窗口的回答不一样?

2024-04-28 15:04:30 +08:00
 rossroma
最近打算利用 gpt 的能力开发一个翻译插件,于是在 coze 上进行调试,聊天窗口的回答就是我预期的样子。
https://imgur.com/oKs2McL.png

但是同样的问题,通过 API 调用的话,回答的结果却变了。这是什么原因?我用国内的 kimi ,也是 API 的答案有问题。
https://imgur.com/ScQZGQt.png
2177 次点击
所在节点    程序员
13 条回复
seers
2024-04-28 15:32:13 +08:00
有时候窗口会有隐藏参数,提示词之类的
cheng6563
2024-04-28 15:47:08 +08:00
默认提示词不同呗,然后温度也可能不同。
hnliuzesen
2024-04-28 15:53:14 +08:00
还可能是聊天用的模型和 API 的模型版本不一样
fusi
2024-04-28 15:53:18 +08:00
你同一个问题,分两个会话问,响应的结果也有可能出现差异,毕竟这是生成,没有固定的谜底
Subfire
2024-04-28 15:56:23 +08:00
如果回答一样才奇了怪了, 追求幂等?
rossroma
2024-04-28 16:01:04 +08:00
@hnliuzesen 我是用的相同的 bot 去调试的,Prompt 也是我自己写的,理论上应该一致才对。
hnliuzesen
2024-04-28 17:20:38 +08:00
@rossroma 我没有用过 coze ,你的 bot 在搭建的时候能设置调用 OpenAI 接口的 temperature 与 top_p 参数么?这两个参数会影响响应结果的随机性。如果不能设置走的是默认值的话,每次回答都是不一样的。
也不排除有可能在网页上提问,和使用 API 提问,最终发到 OpenAI 接口的参数有差异。
clintme
2024-04-28 17:23:56 +08:00
只有 temperature 值设置为 0 才每次给出同样的结果
pikachu233
2024-04-28 17:23:57 +08:00
你去看看 gpt 的开发文档,参数可比你想象的多,如果模型一样回答不一致的话,一定是参数不一样
z1829909
2024-04-28 19:41:07 +08:00
system prompt 不一样, 可以看成网页其实也是调 api 的, 但是网页被设计了自己的参数
rossroma
2024-04-28 20:14:58 +08:00
这是 coze 小助手给的回答:
Coze 平台确保了您在聊天窗口和 API 调用之间的结果应该是相同的。如果您发现有差异,可能是由于以下几个原因:
1. Context:聊天窗口中的上下文(如前一个问题的回答和 bot 的状态)在 API 调用中可能没有。
2. Settings:API 调用可能有不同的参数。
3. 更新:如果您在测试 bot 之后更改了 bot ,可能需要重新发布才能在 API 调用中看到更改。
我建议您检查上述可能的因素,查明情况。如果问题依然存在,您可以查阅我们的 Coze 官方文档获取更多信息,或者在我们的官方社区( Discord: https://discord.gg/xDQKpAKEFX, Telegram: https://t.me/+m7bX9D4WjV4yMzgx )上寻求帮助。

这 3 个问题我都排查过了
owen21
2024-05-01 12:19:40 +08:00
为全一样的话,prompt 就不可咒语了。。。 目前来说,这玩意就非程序化,一样的输入得不到一致的结果,如果结果总是一样,那就叫程序,不叫 AI.
dcrdw
2024-05-03 17:42:52 +08:00
api 有个参数叫 send ,这个决定了每次一样的对话回复内容的相似度

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1036399

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX