m3 max 128 的使用场景?

2023-12-05 08:23:59 +08:00
 qweruiop

在犹豫买 m3 64 的还是 128 的,现在一直在用 m1 max 64g 的。之前主要做一些计算的开发,各种语言都在用,当年才出的时候比较快。后来感觉就不行了,编译速度也比不上服务器了。。。现在发现从去年开始,基本上都是远程连到自己的服务器做开发了。。。m1 本地太慢了。。。

平时的场景,都是开一堆 idea 本地,pycharm 远程,clion 远程。最近 1 年,在搞 ai ,基本上全是 pycharm 远程。。。用的依赖基本上 mac 下一堆问题的,java/node 开发连 clickhouse 的 arm 的 docker 也一堆问题,想着赶紧开发模型赚钱重要,不想花时间去搞依赖,搞了也没啥用,最后也都是要部署到 linux 。

看了下,内存,大多数工作场景都用不满。

不想引战

求买过的 v 友说说,新出的 m3 max 准备下手了,主要 m1 太慢了,在开发方面(我不开虚拟机,本地跑了几个 db 的 docker ),不知道 128g 内存会比 64 有用吗?

6894 次点击
所在节点    Apple
47 条回复
TuringHero
2023-12-05 21:38:15 +08:00
@qweruiop #39 70b 上面有人说在 110G 左右。我没 64 的试,看油管老哥用 128 测的,显著强于 4090 24G 。<amp-youtube data-videoid="jaM02mb6JFM" layout="responsive" width="480" height="270"></amp-youtube>
ShadowPower
2023-12-06 10:05:24 +08:00
@TuringHero 现阶段最有用的开源模型可能还是 Yi 34B ,我自己测试下来,写作方面真实表现真正超过 GPT4 。
如果只讲究实用的话,一块 3090 的性价比足够高,且足以满足需求了。

LLaMa 2 70B 其实大多数方面的真实表现和 Mistral 7B 差不多,它们的微调模型也类似。

我还测过一些其他模型,通义千问的 72B 比 Falcon 180B 好,而 Yi 34B 的 SFT 模型比通义千问的 72B 好。
qweruiop
2023-12-06 12:35:34 +08:00
@ShadowPower 这些模型 64 能跑吗?还是一定要 128 ?
ShadowPower
2023-12-06 13:14:35 +08:00
@qweruiop 用量化的版本,64GB 可以跑 34B 和 70B 。70B 的可能只能用 CPU ,因为 Mac 其实还限制了最大显存大小,比内存的一半多一点。
一定要跑 fp16 精度的话,34B 的模型跑起来实际上就用 67GB 显存了,而且效果差别也不明显……

超过 70B 的模型都不推荐。开源社区没人能微调这些模型,表现都不如参数量更小的。
qweruiop
2023-12-07 08:25:28 +08:00
@ShadowPower 确实,再大的模型也不指望了。。。 谢谢老铁
lancelvlu
2024-04-26 09:38:13 +08:00
@ShadowPower “因为 Mac 其实还限制了最大显存大小,比内存的一半多一点。”你好,这个是苹果自己宣布的么?还是别人测的啊?有没有相关文档或者视频分享啊。感谢!
ShadowPower
2024-04-26 09:44:23 +08:00
@lancelvlu 之前我在玩 llama.cpp ,然后每天逛 reddit ( localllm 板块),和 github 的 issue 。
llama.cpp 有个版本开始支持了 metal ,有些人碰到了模型加载失败的问题,于是有个工程师( llama.cpp 贡献者)用自己的 mac 做了测试,得出的这个结论。

现在找的话,不太好找,印象中他用的是 64GB 内存的型号,实际可直接分配的最大显存有 37GB 左右。我记不得精确数字,只记得是 3 开头,超过 32GB 一些。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/997644

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX