想自己本地跑大模型，学习大模型，做一些微调等操作，目前看到一款小主机在预算内， CPU AMD Ryzen Al Max+ 395，不知道这套配置是否适合用来学习大模型跑大模型，有没有懂的兄弟可以给点建议。

4 天前
 hmbb
CPU：AMD Ryzen Al Max+ 395 处理器(16 核心 32 线程，最大睿频 5.1GHz ，三级缓存 64MB)
显卡：AMD Radeon 8060S Graphics 40CUs
系统盘：M.2 2280 PCle4.0 x4(最大 4TB)*1
存储盘：M.2 2280 PCle4.0 x4(最大 4TB)*1
内存：128GB(16GB*8) LPDDR5x 8000MT/s （最大可分配 96GB 给显存）
接口：AC*1 + USB3.2(10Gbps)*2 + SD4.0 卡槽*1 + LAN 10Gbps(Intel E610)*2 + USB-C(10Gbps 数据)*1 + 3.5mm 音频插孔*2 + DP2.1 8k 60Hz*1 + HDMI2.1 8K 60Hz*1 + USB4(40Gbps/DP1.4)*2
无线网络：WIFI7 MT7925; 蓝牙 5.4
3541 次点击
所在节点    Local LLM
68 条回复
murmur
4 天前
这玩意一万块，拿来充 api 够你用到退坑还有剩
tool2dx
4 天前
@murmur 自己运行大模型的感觉不一样, 一是学技术, 二是硬件快到头了, 贬值慢, 用个几年把显卡之类榨干再出手, 也不亏. 三是开源模型越来越强了, 未来可期.

大模型本质就是老虎机, 你花钱调用 API(花钱买代币), 和本地 24 小时不间断调用摇骰子(免费无限代币), 长期来看还是有差距的.
hmbb
4 天前
@murmur 这倒是，但是 api 的话好像只能使用吧，可以满足学习大模型吗自己实操那种，不是很懂
chinanala
4 天前
这不是玲珑星小主机的配置吗。

小主机散热和扩展性是个问题，不如自组台式机这个配置玩大模型了。
yusha
4 天前
这款的内存带宽和推理性能大致跟 M4pro 差不多. 推理场景跑不了太大的稠密模型(虽然可以加载, 但是推理速度太慢). b 站有评测可以看下推理速度能否满足你的使用预期.
比较合适的场景是跑 moe 模型, 需要大内存, 但是计算量不高. 比如 qwen3-coder-30b-a3b 这种.
hmbb
4 天前
@chinanala 自组台式显卡成本比较高, 有点超预算
TimePPT
4 天前
要不……先花点钱在云平台租点 GPU 算力资源自己玩玩？
skye
4 天前
不如买 mac mini ，m4 pro 性能不错
bytesfold
4 天前
还不如直接 api
perfectlife
4 天前
学习大模型还是上英伟达吧
hefish
4 天前
本地还是得 nvidia 吧。。。。不然兼容性折腾死你。
不说别的 vllm 没有非 nvidia 的二进制版本，你得自己编译。。
clemente
4 天前
省点功夫吧 连买什么卡都搞不清楚
objectgiga
4 天前
该用 api 用 api,想要本地跑不要买这种电子垃圾,带宽太低了,一万块去看看 7532+8*64+3080 20G,能保证本地运行现行大部分 MOE 模型的 int4,微调个人基本上别想这茬
hmbb
4 天前
@TimePPT 可以尝试一下
hmbb
4 天前
@skye 我再看看
hmbb
4 天前
@clemente 最近才开始了解大模型这些知识
hmbb
4 天前
@objectgiga 我看看
shuimugan
4 天前
这配置比调用 api 体验更差，没有学习的价值，除非你要跑 Huihui-GLM-4.5-Air-abliterated 写黄文
402124773
4 天前
@hmbb
按理说，你自组小主机应该比你买成品小主机要便宜一点的
hmbb
4 天前
@shuimugan 好像自己组 NVIDIA 显卡主机比较适合学习用

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1157170

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX