学习 AI, 跑下模型, 应该用什么 N 卡?

171 天前
 nananqujava
看了下 5060TI 5070TI 5080 都是 16G 显存, 4090 和 5090 又太贵, 计算速度还可以忍受慢一点 , 跑 AI 应该是显存决定能不能跑起来吧, 先跑起来再说的情况下, 买哪个?
2830 次点击
所在节点    机器学习
23 条回复
irrigate2554
170 天前
@mumbler 昨天已经跑上了,还有 mistral-small3.1 据说也很强
Freecult
153 天前
只是学习 AI ,弄个 NV 卡就行。无所谓内存。因为学习 AI 不等于 “用 LLM 学习 AI”,也不等于“学习 AI 应用”
CNN TRANSFORMER VAE DIFFUSION 之类的想搞明白,用不着大显存。有支持 CUDA 的 12G 就绰绰有余了。6G,8G,10G 无所谓。能跑 CUDA 是必须的

数理统计和机器学习的理论掌握了, 比大显存有用得多

非要和 LLM 较劲,查一下这个:
https://www.llamafactory.cn/tools/gpu-memory-estimation.html
决定跑啥模型
如果 4090 觉着贵,只有 2080 22G X2 +NVLINK
44G 跑的模型范围稍微大一些
nananqujava
153 天前
@Freecult #22 谢谢

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1126818

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX