想自己上手跑跑 LLM 大模型,求推荐显卡和主机配置

171 天前
 limatrix81

马上临近找工作了,看 Java 岗的都是杀的腥风血雨,虽然组里不放实习,但是也是很有危机感。

做移动计算方向,后面可能会试试手机厂和国央企。无奈 LLM 太火,感觉没个大模型项目都不够看的。

想配带一台大显存 N 卡的主机学学大模型相关知识,给后续找工作拓宽一下项目经历

自己设计了一套配置,求 V 友们给点修改建议(现在显卡是真贵啊)


CPU+主板

内存

显卡

存储

电源

散热器

机箱

2557 次点击
所在节点    Local LLM
28 条回复
infreboot
171 天前
你这是打游戏配置。。建议直接买云计算便宜的起飞。。。
lneoi
171 天前
推荐个其他方案,
去算力平台租一台先用,快而且不贵
如果刚开始用不到多少算力的,上 Google Colaboratory
liu731
171 天前
Ollama 先跑个 3B 8B 的
444571840
171 天前
买 9600x 还不如买 7700 散片,便宜还量大。
RTX4060ti 16G 可以考虑换 2080ti 22G 魔改版,但要找到靠谱的厂商,比如之前的撼影彩盒 3 年保,但好像现在没了。
内存可以考虑往大里买。
mumbler
171 天前
跑大模型,最重要的是显存,显存,显存,其他都可以低配
2080ti 魔改 22G 是性价比最高选择
renmu
171 天前
你不会只是想新配一个电脑吧(笑
joyhub2140
171 天前
相信我,最终都会沦为打游戏的专用机的,我就是用理由换了 2 次 PC 了。
limatrix81
171 天前
@renmu 可恶,居然被你识破了😭
limatrix81
171 天前
@Stevenv 主要是怕到时候秋招面试官项目拷打,没亲自本地跑过直接露馅了
limatrix81
171 天前
@lneoi 哦哦哦哦,Colab 之前用过,但是好像最长使用一天就把资源释放了?
limatrix81
171 天前
@444571840 牛逼,还有这种卡,我去瞅瞅去
limatrix81
171 天前
@mumbler 对对,我就是想着弄个大显存的,等毕业直接一卖换 AMD 游戏卡,然后其他配置就不用动了
tool3d
171 天前
@limatrix81 别买 2080ti ,老卡功耗太大,非常不稳的。

你 TB 3699 ,可以考虑用两张 intel 的 16G 显卡,加起来就是 32G 显存。价格一样,至少不容易翻车。
ggBalloon
171 天前
macmini 32g 显存
sunfly
171 天前
不如研究直接调 API
queziaa
171 天前
没用,就算 16G 将将够跑一些东西,这算力也很慢,大量跑或者训练很难受。调用买额度,训练租卡
queziaa
171 天前
学习蹭谷歌
WasteNya
171 天前
够用,但前提是微调或部署最好量化,不然跑不动
follow
170 天前
intel 最新 cpu ,似乎也是统一内存, 跑大模型,是否也可以?
limatrix81
170 天前
@tool3d 懂了老哥,专业的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1123402

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX