有人实际部署过 GPT-OSS-20b 么？ 需要什么配置能跑得比较流畅？

6 天前
 totty

做萌翻翻译的时候，想用来本地部署做语言检测，AI 翻译和 AI 词典都可能用到，传统的库都不够准确，如果是多语言的话。

2015 次点击
所在节点    Local LLM
30 条回复
BlueSkyXN
5 天前
Macbook Air M4 24G 推理速度
Qwen3-4b:16tps
Deepseek-r1-8b: 15tps
GPT-oss-20b:19tps

RTX4080 没测
ByteCat
5 天前
要求很低，我用 RTX A4000 跑，只吃 12G 显存，速度还行，50tokens/s
zhengfan2016
5 天前
我用 ollama 4060ti 16G 能跑啊
totty
5 天前
@zhengfan2016 我也想用这个配置，速度如何？
mengdodo
5 天前
用一台独立服务器跑过，64G 内存 Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz * 2 的，结果慢的一匹，你可以自己试试
yjhatfdu2
5 天前
M3 ultra 跑 gpt-oss-120B 可以跑到 75t/s 左右，跑 gpt-oss-20b 能跑 120t/s 左右
zhengfan2016
5 天前
@totty #24
totty
5 天前
@zhengfan2016 收到
totty
5 天前
@yjhatfdu2 收到
totty
5 天前
@mengdodo 你这主要问题是用 CPU：）

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1156379

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX