有人在本地跑模型吗？

11 小时 15 分钟前
 lihuashan

我最近在学习 AI ，想本地搭建调试。我前段时间刚买了一台二手 m3max 128G 内存 1T 硬盘，不知道行不行？

370 次点击
所在节点    Local LLM
5 条回复
lihuashan
11 小时 12 分钟前
英伟达 9 越左右要出新机器：NVIDIA DGX Spark ，https://www.nvidia.cn/products/workstations/dgx-spark/

2 万多元，感觉可以买？
xou130
10 小时 2 分钟前
如果只是调试，可以用小模型，比如 7b ，0.7b 规模，CPU 强行跑也行
lihuashan
10 小时 1 分钟前
@xou130 只是调试学习，后续可以从事 ai 相关的开发工作，我是 java 后端开发。7b 是不是太小了？
maximdx
9 小时 37 分钟前
只是跑模型的话肯定没啥问题
xou130
1 小时 48 分钟前
@lihuashan 7B 够大了，实在要用大的模型可以 api

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1143739

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX