现在 2000 以内的预算，买啥 N 卡跑 AI 最划算？主要是测试各种 AI 相关的软件，大模型也会试试。

2000 还要票，建议云上跑吧，买 N 卡真是门槛都够不着

https://www.zhihu.com/question/12072554903/answer/101325531662
有趣。

@Foxkeh #14
@lneoi #15

感谢建议。不过我们需要测试和调试底层驱动的东西，所以云服务不行。

另外，我发现大部分回复者都挺搞笑，属于一班只懂个皮毛就尾巴翘上天的：

第一阅读能力不行：我已经写的很清楚了，“主要是测试”，而不是跑生产应用；“大模型也会试试”，而不是专跑大模型。

第二对 AI 的理解极为偏执：以为 AI==LLM ，以为 AI==上层的应用。实际上 AI 的应用类型极多，涉及到的也是整个系统——硬件+OS+驱动+系统库+应用库+AI 框架+应用...，训练和推理场景也有很大差别。不是所有 AI 人的工作都是搞个上层应用包装个 LLM 来对话。在你们心里面，底层的那些东西都是货架上刷新出来的么？

第三以为所有东西都要靠堆钱来解决。实际上 2000 以内 N 卡 3060 12G 可跑 DS-R1 14b(9GB)，用来测试绰绰有余。我们还要测 Intel Arc A770 （一样 2000 以内），同样也是为了了解不同方案的表现和性价比。更不用说清华最近那个新的突破了（虽然还是要 24G 显存，但谁说未来不能更小？）

算了，还是建议楼主有机会换个公司吧。

@pigzilla #23 楼主具体描述一下需求？

1. AI 到底是指哪一类？下到单片机几十 MB 内存跑 YOLO ，上到几千张 H100 集群跑 LLM 预训练都叫「 AI 」…

2. 面向的场景是什么？单机部署模型？端侧推理？还要调试底层驱动，是做 NPU 开发？

这个预算还不如租用云厂商的 GPU 资源。

@pigzilla #23 这个定义你要说就早点说 描述啥都没有在这里让人猜吗？现在语境里谁不是默认 ai=大模型？

1 、如果看 GPU ，买显存最高的版本，可以不关注算力。那可能就是 3060 12g 或者 4060 16g ，后者会超预算。
2 、如果是推理，不训练，可以看看一些计算棒（ NPU ）或者换 CPU

@xausky 多少钱

3060 12G ，14B 我这边跑不起来，直接回退到使用 cpu 的，非常慢

2000 块钱
买个 4060 打游戏都觉得垃圾
跑 ai 加点钱吧
至少怎么也得 4070ti super 这种卡吧

@JensenQian 常见显卡给你看下
来源 https://www.bilibili.com/video/BV1ogAKe3EAb/
2000 预算买个 100 瓦的 4060 打游戏都觉得不太行真的
老黄现在显卡感觉没个 5000 块都没法入门了感觉


直接租服务器，放弃本地跑大模型的幻想。不过这预算真要租服务器跑大模型，估计一周也就花完了。

@GGMM #28 感谢。这个的确和我自己找的信息一致。

@jamos #30 能详细说说吗？ DS-R1 14b 的容量我看 ollama library 上不是 9GB ，足够载入显存吗？你跑不起来是显存不够还是速度太慢还是别的问题？不过这对我也不是啥问题，14b 不行可以拿 8b 、7b 的测试。

铜币已送给有建设意义回复。谢谢各位。

2000 的话只能上 P40 了

你自己不把需求说清楚还在这指责别人，还说“14b 不行可以拿 8b 、7b 的测试”，那你直接用 1.5b 不就行了，2G 显存都能跑，买个 GTX750 亮机卡也能测试。

+1

才 2000 塊, 跑 8bit quantization 的 VRAM 也不夠, 不如拿去租 GPU 摸清楚需求再算

@pigzilla "DS-R1 14b 的容量我看 ollama library 上不是 9GB ，足够载入显存吗？"

纯聊天是够的，但默认 ollama 上下文只有 2k ，你要处理文档的话，一个 20k 字节的文本，必须要修改成 16k 上下文才行。这个设置很吃显存，直接就爆显存了。

如果把 12G 换成 16G 显存，那是没问题的。