有人在本地跑模型吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

我最近在学习 AI ，想本地搭建调试。我前段时间刚买了一台二手 m3max 128G 内存 1T 硬盘，不知道行不行？

4 条回复

lihuashan

5 小时 47 分钟前

英伟达 9 越左右要出新机器：NVIDIA DGX Spark ，https://www.nvidia.cn/products/workstations/dgx-spark/

2 万多元，感觉可以买？

xou130

4 小时 37 分钟前

如果只是调试，可以用小模型，比如 7b ，0.7b 规模，CPU 强行跑也行

lihuashan

4 小时 36 分钟前

@xou130 只是调试学习，后续可以从事 ai 相关的开发工作，我是 java 后端开发。7b 是不是太小了？

maximdx

4 小时 13 分钟前

只是跑模型的话肯定没啥问题