根据 AI 的发展趋势,有没有必要自己在本地跑大模型?

2024-05-16 12:37:52 +08:00
 7eurvQrEtS

现在各个 AI 服务相关的公司都有越来越快、准、稳的 AI 服务(更好的模型可能是有次数限制的),在这种情况下,有必要自己在本地搭建模型吗?

简单总结了本地部署的优缺点:

优点:

缺点:

如果需要需要互联网访问,还存在以下问题:

目前设备是 MacbookPro intel ,各个提供商的 AI 已经够我用了,但是考虑到以后的发展趋势,需不需要自己跑大模型?

如果要本地跑,那么应该就是换成 MacbooPro M3 Max 48G 内存的。

如果不本地跑,那么可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机。

想咨询一下大家的意见,请问各位的建议是什么?

1967 次点击
所在节点    问与答
8 条回复
dallaslu
2024-05-16 12:43:00 +08:00
本地模型未必「响应速度更快」
murmur
2024-05-16 12:43:57 +08:00
除非有破除禁忌的需要,绝大多数人用本地模型都不如商业模型
murmur
2024-05-16 12:44:41 +08:00
你都用 macbook 了还说什么公网和网络安全,不是搞笑么,你要说纯国产系统、内网开发,弄个局域网大模型还有点实际价值
NoOneNoBody
2024-05-16 13:00:01 +08:00
跑不动
尤其那些“8G 够用”的机器
7eurvQrEtS
2024-05-16 13:22:36 +08:00
说反了,
如果不本地跑,那么应该就是换成 MacbooPro M3 Max 48G 内存的。
如果要本地跑,可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机
zmxnv123
2024-05-16 13:35:26 +08:00
灰色行业的应用肯定都是本地部署 AI 模型的
ZXiangQAQ
2024-05-16 14:18:41 +08:00
跑本地模型当然更好,但是性能跟不上啊,本地跑跑小模型应该够用,但是 MacbookPro 和英伟达的高端显卡还是存在非常显著差距的
7eurvQrEtS
2024-05-16 18:12:45 +08:00
看来只需要 48G 的 mbp 就够用了,谢谢各位~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1041278

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX