为什么国内大模型速度比 chagpt 慢很多

2024-05-22 11:44:25 +08:00
 yiwanjidanmian

我大段文本，gpt-4o 3 秒左右就能返回，国内比如智谱清言，文心一言就要 10 秒多才能返回，有没有知道原因啊，真难搞

3240 次点击
所在节点    OpenAI
21 条回复
kyor0
2024-05-22 11:49:01 +08:00
这不正常么
czfy
2024-05-22 11:51:09 +08:00
虽然 4o 本身就是牺牲质量换速度
但除了技术比不过，你觉得还能有什么其他影响因素？
TheJustin
2024-05-22 11:56:09 +08:00
老黄专程送 H200 给奥特曼，国内还在用上一代的阉割算力，阉割不说，数量还跟不上……
Antihank
2024-05-22 11:57:46 +08:00
体会到了登子扼颈的窒息吧
Chad0000
2024-05-22 12:01:03 +08:00
还有就是人才的意愿问题，如果给人才一个选择的机会，去美或中，答案就是原因。
ronyin
2024-05-22 12:03:09 +08:00
百度文心一言还有人用么。。
pi7m1Dr691wfl95q
2024-05-22 12:06:01 +08:00
gpt-4o sleep()写太小了
weijancc
2024-05-22 12:28:24 +08:00
我目前对比了所有国内 AI 产品,抖音的豆包和讯飞的 AI 比较快, 但是训分的 UI 太丑了.. 抖音的回答质量会稍微弱一点, 但是够用了.
kenvix
2024-05-22 12:42:18 +08:00
没钱
实际上你自己部署开源的国内大模型就会发现速度也很快的...比如阿里 Qwen1.5
Retas
2024-05-22 12:51:24 +08:00
moonshot 基本秒回
yiwanjidanmian
2024-05-22 13:16:41 +08:00
@Retas 那我试试
Reid
2024-05-22 13:58:38 +08:00
@Retas moonshot 输入长文本，经常卡住啊
ardour
2024-05-22 14:18:00 +08:00
算力都不在一个级别
frankkly
2024-05-22 14:59:22 +08:00
@pingpz #7 华为：别逼我写 sleep(0)
JoeDH
2024-05-22 15:57:38 +08:00
国内的那回复都是一个一个字返回来的，gpt 的是一大段直接吐出来给你
Donaldo
2024-05-22 16:01:06 +08:00
没钱 没卡
kenvix
2024-05-22 17:02:43 +08:00
@eastjoehan #15 你这说的，哪个 LLM 不是 token by ken ？
wweerrgtc
2024-05-22 17:24:26 +08:00
也许是需要审核 输入和输出的内容
zhangdp
2024-05-22 17:37:03 +08:00
可能需要分析审核内容耗时了，不允许违法的特别的反动的词语
macaodoll
2024-05-22 22:15:36 +08:00
问就是制裁没显卡，

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1042889

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX