618 期间电脑配置推荐

16g 显存玩不了啥 llm, ddr5 的速度惨绝人寰

@xtreme1
显卡方面：想着小模型量化后可以推理一下吧，就挑了一个显存大又相对便宜一点的。
内存方面：我是小白，你说 ddr5 速度慢的话，还有更快的 ddr6 的吗，没有搜到呢

16G 显存恐怕只够跑 5-13B 小参数量模型，然而 Qwen 32B 才能有比较完善的推理和总结能力，16G 显存也许只够使用 AI 笔记、知识库、文章润色等 RAG 情境，大模型应该是没办法愉快玩耍的，还要考虑到 token 的输出速度。

@Memoriae 32B 能运行的显卡都要好几万了吧，有点顶不住呢。就只能搞个小模型量化玩一下

@lgqfhwy2 考虑性价比的话就别在意跑大模型的能力了. 只玩应用的话用 API 足够用了, 自己跑模型质量就不说了, 电费估计不比调 API 便宜.

@zbw0414 是的，也有道理，还了解一下大模型推理的技术 vllm ，算子优化这种的，是不是随便一个便宜一点的显卡就行。打算换成 4070ti 12G 显存 了，看着价格 4909 左右，能便宜两千多。

指个路，显卡可以看看淘宝上的 22G 显存魔改版，便宜量大管饱

@Biem 这种 22G 显存魔改版的有没有啥风险？

显卡是纯跑模型，不打算拿来打游戏的吗？那上特斯拉更有性价比，七千块刚好能买五张 T10 ，总共 80G 显存（
但是考虑到驱动问题需要搭配一个非 nVidia 的亮机卡。
虽然更推荐 2080Ti 22G 就是了，A100 大降价但是明显超出你预算了。最有性价比的当然是 API 了，本地跑的电费都比这个贵。

要不要我的电源

台达 1300w,还在保修期

cpu 、内存都在涨价，618 可能不是一个好时机

ollama 支持 cpu 和 gpu 混合，16G+64 可以跑 32B 的模型了。

@zuotun 就看看推理，不打算训练。2080ti 我看了，感觉有点老了呢

@factionstrue 太大了，我看着如果是 4070ti, 850w 就够了

@mythabc 那意思是现在吗，cpu, 内存不会搞活动吗

@volatileSpark 感谢，那更好了

@lanxxkk 我的用了四个月了，目前没什么毛病，跑 qwq 很爽

@lgqfhwy2 我便宜出

@lgqfhwy2 还有硬盘也出