OpenAI 新模型将对 AI 套壳应用来一波革命

51 天前
 xieqiqiang00

groq 上 oss20b 近 6000token 每秒的输出速度

已经是量变引起质变了

快了将近 100 倍

1221 次点击
所在节点    程序员
7 条回复
iwdmb
51 天前
https://github.com/openai/gpt-oss
一颗赛艇
iwdmb
51 天前
https://gpt-oss.com/
官方测试渠道
YsHaNg
51 天前
可能要 hopper 以上更新架构的加速器 垃圾佬平台不如 qwen3:30b 上下文预分配内存以及 offload 效率很低
sam2478
50 天前
@iwdmb 是网站出问题了吗？我打开没并没有对话框
jianyang
50 天前
gpt-oss 120b 推理加结果，token 吐字快到离谱
xieqiqiang00
44 天前
groq 我还看到有超过一万 token 每秒的
xieqiqiang00
44 天前
120b 的版本在英伟达官方的数据里甚至能跑到 2 万 token 每秒每卡

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1150420

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX