用 M4 Max MacBook Pro + 128GB RAM 跑大模型

176 天前
 yibie

M4 Max MacBook Pro + 128GB RAM 跑大模型：

1254 次点击
所在节点    Apple
4 条回复
yinmin
176 天前
能跑到多少 tokens/秒？另外，8bit 的 70B 模型跑的性能如何？
yibie
176 天前
8bit 还不知道，之前跑 Gemma3 应该是 8 bit 精度的，20 token/s 吧，不过这个速度不恒定，看模型会不会自己卡，但一般超过 10 token/s
yibie
176 天前
@yinmin 8bit 还不知道，之前跑 Gemma3 应该是 8 bit 精度的，20 token/s 吧，不过这个速度不恒定，看模型会不会自己卡，但一般超过 10 token/s
walkon
57 天前
我 64GB 的，跑一个 DeepSeek 8B 的风扇也会响。跑 70B 的 9.7 tokens/s ，感觉一般。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1119399

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX