实验室有卡，但是要排队，很多开发和测试不方便（租卡迁数据更不方便）。计划配一台家用的 AI 开发机，主要是跑 7B-32B 的 LLM 。因为住在租的房子里，所以对噪音和散热比较敏感。目前预算先上一张卡，未来可能升级双卡。现在对 GPU 的选择非常纠结，想听听大家的意见。
一、GPU 选择：核心纠结点
选项 A：魔改版 RTX 4090 48GB
优点： 显存巨大 (48GB) 多卡兼容性：wsl2 下似乎可以多卡？只需要消费级主板？ 顾虑： 散热/噪音：涡扇版据说噪音巨大，不适合家用。可能要三风扇或水冷版。水冷长期可靠性（漏液风险）没底。 质保风险：没有官方质保，完全依赖店铺。看到有人炸缸，店铺进行了更换，但需要提供温度记录之类。
选项 B：RTX 5090 32GB
优点： 性能更强：下一代架构，核心性能肯定提升巨大。 家用友好：散热和噪音控制肯定比魔改方案好，适合家庭环境。 顾虑： 显存稍小 (32GB) 兼容性：看到有说法是“老模型可能用不了” 多卡兼容性：wsl2 下好像完全无法兼容多卡。且需要服务器级主板
我想问的问题：
- 为了处理 32B 模型，48GB 显存的优势是否大到值得去承担魔改卡的散热、噪音和质保风险？
- 有没有用过这类魔改大显存卡的兄弟，能分享一下实际的稳定性和使用体验吗？
- 后续希望可以直接在原机器上直接加卡，拓展成双卡。最好是 win 下能用，实在不行就换 ubuntu 系统。这种情况下 5090 和 4090 改哪个合适一点？
二、主板考量：未来可能升级双卡
想问的问题：
- 如果未来要上双卡（无论是两张 4090 还是 5090 ），主板选择上有什么关键点？
- 我看到一个说法是“5090 双卡需要两个 PCIe 5.0 插槽”，这个是必须的吗？还是说带宽足够的 PCIe 4.0 主板（比如能支持双 x8 模式）就够用了？
- 除了带宽，主要是不是应该关注两根 PCIe x16 插槽之间的物理空间，以保证两张卡的散热？
感谢各位的宝贵时间和建议！
 |
1
Ritter 12 小时 2 分钟前
要我选肯定 5090
|
 |
2
bigtear 12 小时 1 分钟前
看你的需求，感觉懒猫 AI 算力舱挺适合你的，我日常跑 qwen 和 comfyui 还可以，如果感兴趣可以搜一下，他们客服挺活跃。
|
|
3
bigtear 12 小时 0 分钟前
如果不是刚需，建议等，因为接下来肯定各家都要上大显存的设备
|
 |
4
shenqi 11 小时 58 分钟前
如果一定选，建议 5090 ，后续升级显卡卖出去更值钱。这个是从经济角度的。
|
 |
5
HenryHe613 11 小时 52 分钟前
32B 可以用 5090 32G 跑，所以 48G 和 32G 对你来说差别不是很大。
目前没有遇到老模型用不了的问题，只是 PyTorch 需要用 nightly 渠道安装，不然会不支持 5090 的驱动。 5090 非国行也没有保修，我是去日本旅游顺路带了一张回来自己用。但是相比 4090 改装版，我觉得原厂的质量更加可以信赖。 如果后期需要上双卡，记得电源预留点空间，这样后期升级可能会节省一笔费用。1000W 以上的电源可不便宜。 |
 |
6
sunny352787 11 小时 44 分钟前
不考虑 A6000 ada 这类专业图形卡吗？相当于官方的 4090 48G ，5090 的价格都能接受了那 A6000 也没差太多了
|
 |
7
Saunak OP @sunny352787 A6000 和 A6000 ada 是两种哇。服务器用的就是 A6000 ada ，那个太贵了，一张要 5w 多
|
 |
8
robbaa 11 小时 20 分钟前
双 3090+nvlink 先用着，后期再说后期的问题，到时候说不定 6090 都出来了
|
|
9
sunny352787 11 小时 20 分钟前
@Saunak 我知道是两种，不过现在 5090 满血版能买到吗？要是不好买的话魔改版 4090 还是不太放心，所以我想不如考虑 A6000 ada ，但确实有点贵哈哈哈哈
|
 |
10
jiujiutang 11 小时 13 分钟前
这篇文章的思路也可以参考下。https://mp.weixin.qq.com/s/vIrvbVJ6Nv00Ehre1zZwMw
|
 |
11
Quik 11 小时 4 分钟前
就从我自己了解的部分来回答部分问题以及一些建议：
1. 除非你租房有专门放机箱的房间，否则没办法用涡轮卡； 2. 关于显卡需求的 PCIE 通道：5090 理想情况下是需要 PCIE 5.0 * 16 的，但是 PCIE 5.0 *8 也有人说损失很小。4090 需要 PCIE 4.0*16 就行，也就是 PCIE 5.0*8 的速度，不过不知道 PCIE 4.0 * 8 有多少损失。 3. 主板选择：首先确认是 msdt 还是 hedt 。 - 家用主板对多卡的支持性很差，但也有少部分选择（虽然性价比不高）。这种情况下需要找专门能支持显卡 PCIE 拆分的主板，将 1 个 PCIE 5.0 * 16 拆分成两个 PCIE 5.0 * 8 。用 AMDcpu 的话，微星的 800 系主板只能看一下 X870E Godlike ，或者再等等后面出的 X870E Ace 。600 系主板便宜的选择是 X670E 暗黑，除了内存支持略弱其实扩展性更好一点，这块板子可以看做最便宜的支持双 PCIE5.0*8 的主板，但是给显卡的第一个 PCIE 插槽在第 3 槽，导致物理空间拥挤。或者看看 Intel 的主板也行，虽然 CPU 稀烂并不推荐。 - 服务器的话我想到的是 7K62 这种洋垃圾，看起来也还行，主板也不算贵，至少 PCIE 通道很多（基本上都是 PCIE*4.0 *16 ，所以不需要担心通道不够，相对应的也没有物理空间问题。 4. 关于显卡的物理空间：5090 风冷基本上都是 3 槽及以上的，两张超厚风冷卡并排其实散热不太好，吃尾气。关于物理空间不够用（例如两个拆分后的显卡 PCIE 插槽只有 3 槽），可以用 PCIE 延长线的。 5. 考虑双卡基本上都得上超大机箱了，例如追风者 PK620 这种的。当然机架式的也不是不行。 |
 |
12
KimGuo 10 小时 57 分钟前
最近听说有个方案，是把两块 v100 16GB 通过转换器转成一个 PCIE （两个 x8 ）然后通过软排线接到主机上的方案
好处是便宜（咸鱼成品大概是 2800 ） 坏处是需要主板支持通道分割、v100 不支持 fp16 运算（不兼容一些新的推理模型）、个头不小 |
|
13
Saunak OP 电源和机箱这个问题倒是不大。
主要是主板和系统不太了解。我看很多测评说 5090 需要双 PCIE5.0 x 16 ，一般的消费级主板带宽不够会导致双卡速度非常低。https://zhuanlan.zhihu.com/p/1906986288147563035 看到可行的方案有 GIGABYTE TRX50 AI TOP + AMD 线程撕裂者 7960X ，不晓得有稍微便宜点的没。 []( https://www.xiaohongshu.com/explore/67f3f894000000000f03be93?xsec_token=ABrHcV3PAqG0pzB8e4RojCRGvBJJYysnPQtFynCnUYn0Y=&xsec_source=) |
|
14
Saunak OP @sunny352787 5090 和 5090 D 测试好像差别不大吧？只要不是 24G 的版的。
我看其他平台很多推荐 4090 48G 的，不知道是卡贩还是啥。这个帖子倒是清一色的推荐 5090 |
|
15
Saunak OP @Quik 谢谢这么详细的分享。
看到可行的方案有 GIGABYTE TRX50 AI TOP + AMD 线程撕裂者 7960X 。 https://www.xiaohongshu.com/explore/67f3f894000000000f03be93?xsec_token=ABrHcV3PAqG0pzB8e4RojCRGvBJJYysnPQtFynCnUYn0Y=&xsec_source= 我想问下如果用 5090 双卡的方案（非水冷），我后期自己加卡。那么现在的主机是找 jd ，tb 的供应商定制，还是自己 diy ，或者买了找 jd 装机的人装比较好？ jd 和 tb 的供应商，我看似乎配置都不太灵活，而且价格会高不少，不晓得他们的售后有没有用 |
|
16
Quik 7 小时 13 分钟前
@Saunak #15 我的看法：
1. 个人买 5090 约等于没有售后（包括但不限于店保、白牌等），供应商之类的也不好说，这方面就是买别怂，怂别买。不过显卡这种东西是不拿来折腾的，我拿到手之后测了一天的甜甜圈什么的，温度也不是很高，切到 Ubuntu 之后赶紧加上了 450W 的功耗限制。就算是真坏了也有 B 站张哥和靓女能修。最常见的坏法就是少接口，搬板也就 2-3k ，其实成本没有想象的高（只要核心没坏）。 2. 供应商的售后，个人买还真不了解。但是同学之前了解过官方采购那种途径（就是 30W 以下的单位采购，无须招标，可开票），当时听说是坏了包修 or 换，供应商说是有到 SG 的途径去修卡或者售后卡。缺点是性价比低，你需要用旗舰卡的价格买丐卡。 3. 实在担心售后，考虑一下 5090D ？好像 5090D 相对于 5090 就阉割了 FP4 ，对 99%的场景都是暂时用不到。一般自己 fine-tune 都至少是 fp16 或者 bf16 吧。不过也有人说 5090D 的核心已经停产，即便是核心出问题售后也是有去无回，而且一些显卡品牌的售后还不怎么样（比如微星），或者你 5090D 拿去售后给你换成 5090Dv2 ，什么说法都有。至少现在有小问题还是都能给解决的。 我个人是就用了 1 张 5090 （微星的神龙）。温度也不会多高，个人感觉 3 年很难用坏。  |
 |
18
sunmacarenas 6 小时 58 分钟前
可以看下 rtx5880ada ，价格与 5090 差不多，显存是 48G
|
 |
19
coefu 6 小时 45 分钟前
你不给预算怎么推荐？如果只是跑 LLM ，不做别的，那我推荐 Mac studio M3 pro 。 你会发现，仅仅是放在住处，这是多么睿智的选择。如果你有类似于 IDC 的环境，自己组装台式机+GPU 是个好选择。
|
 |
23
cpstar 6 小时 40 分钟前
不是有一个 GB10 的各家小主机
|
|
24
coefu 6 小时 29 分钟前
@Saunak #22 GPU 主要是保值，但是关键问题，你要放住处，那就难搞，但凡组的 GPU 台式机，第一，功耗高，第二热量和噪声大，这个是会影响到生活的。mac studio ultra 的情况是，如果你统一内存买小了，后续不怎么保值，你要是再出手估计要打折。对于你的问题来说，我觉得 mac studio ultra 是最优解。
|
|
25
coefu 6 小时 23 分钟前
@Saunak #22 4090/5090 单卡功率 595w ，2 张就要 1200w ，带上主板 CPU ，电源按照转换率 80%起码要买 2500w ，跑满的时候，一个小时 2.5 度电，你遭的住？不要小看这个啊，电表倒转。
|
|
26
coefu 6 小时 17 分钟前
@coefu #25 mac studio m3 ultra 最大持续功率：480 瓦,工作温度：10°C 至 35°C (50°F 至 95°F)。对于放到住处，过来人的经验。
 |
 |
27
FakerLeung 5 小时 50 分钟前
多 I 卡试试？
|
 |
28
mayday1997 5 小时 37 分钟前
@bigtear 这个平台有 nfsw 审查吗
|
|
29
mayday1997 5 小时 35 分钟前
@bigtear 抱歉，查了下不是平台，打扰了
|
|
30
bigtear 5 小时 14 分钟前
@mayday1997 #28 整机，和 Mac Studio 差不多
|
 |
31
propheteee 3 小时 49 分钟前 via Android
英伟达新出的针对个人开发者的 DGX Spark 考虑下不，128g 共享内存
|
|
32
Saunak OP 我是用来开发和调试的，需要进行一定的训练，但是不会完全在自己的机器上跑。mac studio ultra 好像主要是推理吧？
双卡主要是预留，后面如果有需求扩展 gpu 就不浪费之前的机器了。双卡不一定是刚需。 如果不拓展我就当做高性能主机用了。 租房有单独的卧室，只是办公和机器要在一起。 |
 |
33
8355 3 小时 36 分钟前
现在普通成色的 4090 卖给一般消费者，好成色的都在机房出租
肯定是买新不买旧 |
|
35
HenryHe613 3 小时 0 分钟前
|
Select Language