学习 AI, 跑下模型, 应该用什么 N 卡?

看了下 5060TI 5070TI 5080 都是 16G 显存, 4090 和 5090 又太贵, 计算速度还可以忍受慢一点 , 跑 AI 应该是显存决定能不能跑起来吧, 先跑起来再说的情况下, 买哪个?

nxforce

171 天前

取决于你想跑什么模型，再考虑入手什么硬件，而不是先考虑硬件。

ihainan

171 天前

你要跑什么规模的模型，愿不愿接受量化。

usVexMownCzar

171 天前

便宜的上 2080 魔改

不用显卡就买高配 Mac mini （硬盘 1T 即可，内存拉满）不到两万。可以跑 70b 的模型。

nananqujava

171 天前

@chiaf #3 看了下 2080 魔改的评测好像不行

nananqujava

171 天前

@joyhub2140 #1 作为想入门的新手, 我也不知道

dji38838c

171 天前

业余人士没必要学，没必要自己跑
意义何在呢

fox0001

171 天前

是的，显存是优先考虑的条件。玩过 3090 ，24G 显存，性价比可以。

nananqujava

171 天前

@chiaf #3 是我侦查的不对, 2080 魔改是最便宜的方案

tool2dx

171 天前

AI 分两种，聊天和绘图，只有 llm 才对显卡性能没追求，仅仅需要大显存。
绘图需要买 30 系以上的，因为支持很重要的 bf16 浮点格式。20 系是不支持的。

irrigate2554

171 天前

2080ti 22g 真可以，我日常就跑 32B 模型，Q4_KM 量化

mumbler

171 天前

2080 魔改 22G 有什么不好，跑语言模型最优选择，还支持 nvlink ，可以组个 44G 的，不到 1 万

mumbler

171 天前

@xausky #14 gemma3 刚刚发了 qat 模型，18G 可以跑原本 55G 的 27B 满血,比 32B 的 4 位量化强得多

nananqujava

171 天前

@mumbler #15 主要是怕买到显存虚焊的, 显存很容易出问题, 虽说可以修, 但闹心

mumbler

171 天前

@nananqujava #17 买两块也远远比 3090 ，4090 便宜，没有更好选择了

t41372

171 天前

可以租云服务器或用 api 入门，或是看你现在有什么用什么。可以从小模型入手，多玩会儿就知道你想跑的模型需要什么样的硬件了。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1126818

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.