想自己上手跑跑 LLM 大模型，求推荐显卡和主机配置

171 天前
 limatrix81

马上临近找工作了，看 Java 岗的都是杀的腥风血雨，虽然组里不放实习，但是也是很有危机感。

做移动计算方向，后面可能会试试手机厂和国央企。无奈 LLM 太火，感觉没个大模型项目都不够看的。

想配带一台大显存 N 卡的主机学学大模型相关知识，给后续找工作拓宽一下项目经历

自己设计了一套配置，求 V 友们给点修改建议（现在显卡是真贵啊）

CPU+主板

内存

显卡

存储

电源

散热器

机箱

2557 次点击
所在节点    Local LLM
28 条回复
limatrix81
170 天前
@ggBalloon 已经有个 mac 了，主要吧，再配一台电脑得兼顾一下打游戏啊[旺柴]
coefu
170 天前
@limatrix81 专业个屁，Intel 的显卡都推荐，这是坑你呢。搞学习当然用 N 卡，Intel 的显卡起起伏伏就是个幌子，现在 cpu 都搞不好了，还兼顾个毛的 gpu ，之前多少 gpu 都是孤版，买了之后当 2 手都出不去。N 卡目前最合适的就 2080ti 22g ，弄 2 张搞个 NVLink ，既可以做学习用，也可以打游戏。你把 板 U 降一点成本，把内存搞多点。
limatrix81
169 天前
@coefuqin 老哥我看网上有卖这种扩容卡的，有 2080ti 22G 和 3080 20G ，这种卡稳定性应该还可以吧？我看淘宝上他们都说用的还可以，就是涡扇卡有点吵
tool3d
169 天前
@coefuqin 别小看 I 卡，现在 llm 大模型那么火，仅仅跑大模型的话，intel 开源优化已经够好了。你可以去 B 站查一下具体性能，tokens 速度很快。（搜索双卡 intel 就可以）

N 卡优势在于 cuda 通用性，和游戏 DLSS 之类的。但楼主说了，主要就是跑 LLM 模型。
tool3d
169 天前
"等 5060ti 发布之后买 4060ti (不晓得 50 系发布 40 系会不会降价)"

我个人感觉不太会降价，至少今年内是这样的，AI 实在太火了。
coefu
169 天前
@limatrix81 既要又要还要是很难满足的，稳定性怎么样我也不清楚，要自己用过才知。散热可以改。
coefu
169 天前
@tool3d Intel 的 gpu 三起三伏，这次一样会伏。你真的了解 Intel ，就不会说小看 Intel 的 gpu 之类的，Intel 能保住 cpu 的市场占有率都是烧高香。
coefu
169 天前
讲真，我都不好意思给你推荐真正 hack 属性的套装，怕你玩不转。我从海鲜市场里凑了一台 6 卡平台，改风扇散热，改电源风扇风噪，改显卡散热，整个价格只有你这个三分之二，双路 28core ，192g ，1t ssd+3t 机械，120g vram 。为了适配 llm ，hack ollama 的代码重新编译。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1123402

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX