跑 AI 大模型，到底是用 4090 魔改版好还是 Mac studio 好？

136 天前
 kisshere
想配一台专门跑 AI 大模型的主机，4090 48g 魔改版的主机配置基本上和 mac studio 价格也大差不差了，不过话说 max studio 的内存（或者说共享显存）要更大一些。那么只跑大模型，不训练，二者哪个性价比高？另外好像听说 mac studio 跑大模型的精度不足，难道他生成结果的质量要差一些吗？难道英伟达的显卡才是 AI 的纯正血统？
2053 次点击
所在节点    Local LLM
9 条回复
colinlikepotatos
136 天前
4090 明显比 mac studio 快很多。不过我 mac 是 m1 max ，两个算同时期的产物。
egen
136 天前
在相同容量显存的情况下，4090 会快很多
但是 mac studio 可以做到超大显存，比如 m3 ultra 512g ，这个是 4090 做不到的，mac 虽然再慢也还能跑，可以做一些技术验证，这是唯一的优势

生成质量和 4090 或 mac 无关，看你模型本身部署的精度，比如 q4 还是 q8 ，但是由于 mac 孱弱的性能，经常会选择计算量更低的 q4 ，从而导致精度损失加剧
Goooooos
136 天前
@egen #2 “m3 ultra 512g ”这价格上天了
cbythe434
136 天前
我选 4090 ，因为还能打游戏
clemente
136 天前
mac 吧 保值率
liu731
136 天前
别魔改，直接原厂 4090+192GB RAM 得了
wyntalgeer
136 天前
单卡 4090 多卡 Mac
zealotxxxx
135 天前
朋友，有一个东西叫做「并发」。
egen
135 天前
@Goooooos 相对其他方案堆到 512g 显存还是便宜的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1125195

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX