家用 AI 开发机, GPU 在“魔改 4090 48G”和“等 5090 32G”之间纠结,求大佬们给点建议!

18 小时 12 分钟前
 Saunak

实验室有卡,但是要排队,很多开发和测试不方便(租卡迁数据更不方便)。计划配一台家用的 AI 开发机,主要是跑 7B-32B 的 LLM 。因为住在租的房子里,所以对噪音和散热比较敏感。目前预算先上一张卡,未来可能升级双卡。现在对 GPU 的选择非常纠结,想听听大家的意见。

一、GPU 选择:核心纠结点

选项 A:魔改版 RTX 4090 48GB

优点: 显存巨大 (48GB) 多卡兼容性:wsl2 下似乎可以多卡?只需要消费级主板? 顾虑: 散热/噪音:涡扇版据说噪音巨大,不适合家用。可能要三风扇或水冷版。水冷长期可靠性(漏液风险)没底。 质保风险:没有官方质保,完全依赖店铺。看到有人炸缸,店铺进行了更换,但需要提供温度记录之类。

选项 B:RTX 5090 32GB

优点: 性能更强:下一代架构,核心性能肯定提升巨大。 家用友好:散热和噪音控制肯定比魔改方案好,适合家庭环境。 顾虑: 显存稍小 (32GB) 兼容性:看到有说法是“老模型可能用不了” 多卡兼容性:wsl2 下好像完全无法兼容多卡。且需要服务器级主板

我想问的问题:

  1. 为了处理 32B 模型,48GB 显存的优势是否大到值得去承担魔改卡的散热、噪音和质保风险?
  2. 有没有用过这类魔改大显存卡的兄弟,能分享一下实际的稳定性和使用体验吗?
  3. 后续希望可以直接在原机器上直接加卡,拓展成双卡。最好是 win 下能用,实在不行就换 ubuntu 系统。这种情况下 5090 和 4090 改哪个合适一点?

二、主板考量:未来可能升级双卡

想问的问题:

  1. 如果未来要上双卡(无论是两张 4090 还是 5090 ),主板选择上有什么关键点?
  2. 我看到一个说法是“5090 双卡需要两个 PCIe 5.0 插槽”,这个是必须的吗?还是说带宽足够的 PCIe 4.0 主板(比如能支持双 x8 模式)就够用了?
  3. 除了带宽,主要是不是应该关注两根 PCIe x16 插槽之间的物理空间,以保证两张卡的散热?

感谢各位的宝贵时间和建议!

1642 次点击
所在节点    问与答
35 条回复
coefu
12 小时 50 分钟前
@coefu #19 fix: Mac studio M3 ultra.
Saunak
12 小时 48 分钟前
@coefu jd 上整机我看双卡大概 5-6w 吧。我目前 3-4w 预算
cpstar
12 小时 48 分钟前
不是有一个 GB10 的各家小主机
coefu
12 小时 37 分钟前
@Saunak #22 GPU 主要是保值,但是关键问题,你要放住处,那就难搞,但凡组的 GPU 台式机,第一,功耗高,第二热量和噪声大,这个是会影响到生活的。mac studio ultra 的情况是,如果你统一内存买小了,后续不怎么保值,你要是再出手估计要打折。对于你的问题来说,我觉得 mac studio ultra 是最优解。
coefu
12 小时 31 分钟前
@Saunak #22 4090/5090 单卡功率 595w ,2 张就要 1200w ,带上主板 CPU ,电源按照转换率 80%起码要买 2500w ,跑满的时候,一个小时 2.5 度电,你遭的住?不要小看这个啊,电表倒转。
coefu
12 小时 25 分钟前
@coefu #25 mac studio m3 ultra 最大持续功率:480 瓦,工作温度:10°C 至 35°C (50°F 至 95°F)。对于放到住处,过来人的经验。
FakerLeung
11 小时 58 分钟前
多 I 卡试试?
mayday1997
11 小时 45 分钟前
@bigtear 这个平台有 nfsw 审查吗
mayday1997
11 小时 43 分钟前
@bigtear 抱歉,查了下不是平台,打扰了
bigtear
11 小时 22 分钟前
@mayday1997 #28 整机,和 Mac Studio 差不多
propheteee
9 小时 57 分钟前
英伟达新出的针对个人开发者的 DGX Spark 考虑下不,128g 共享内存
Saunak
9 小时 45 分钟前
我是用来开发和调试的,需要进行一定的训练,但是不会完全在自己的机器上跑。mac studio ultra 好像主要是推理吧?
双卡主要是预留,后面如果有需求扩展 gpu 就不浪费之前的机器了。双卡不一定是刚需。
如果不拓展我就当做高性能主机用了。
租房有单独的卧室,只是办公和机器要在一起。
8355
9 小时 44 分钟前
现在普通成色的 4090 卖给一般消费者,好成色的都在机房出租
肯定是买新不买旧
Saunak
9 小时 30 分钟前
@8355 这样哇,4090D 也一样么?
我看 xhs 推荐 4090 48G 的还不少,都是卡贩?
HenryHe613
9 小时 8 分钟前
@Quik #16 为什么你的微星神龙只有 450W ?我的超龙有 600W ?你是自己限制了功耗吧

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1164069

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX