想离线运行下大模型玩玩，现在还能搞到 4090 么？

现实：4090 只能跑 13B ，且无法 finetune 。

你是要运行多"大"的模型...

实测咸鱼三百块的 P4 显卡可以流畅运行 gemma 7b, 生成速度没统计，但是差不多是 GPT4 的两倍。想要跑再大一点的模型多查几张 P4 或者换 P40 都可以的吧。。

本地能跑的大模型（ 13B 以下的），基本和弱智一下，胡编乱造。。。

要跑 SD 需要什么显卡？ 出图不卡顿

我有两张 A100 。

如果楼主只是玩玩，可以去租算力，算力租赁平台很多，技术也比较成熟了

@TabGre #4 手持 3060 ，500x500 生图几秒一张，至少比我 A 卡的 macbook 快多了，还得是英伟达。

192G 的 M2 ultra 的 Mac Studio
或者等 256G 的 M3 ultrl

https://featurize.cn/ 玩一下的话，建议租一个

个人部署的离线大模型的话，性价比最高的应该还是 M40 24G 版本的
只是运行大模型的话，显存足够大能加载模型就行，速度其实都是次要的

如果微调或者训练模型的话，一张 4090 也不太行，少说也要准备 100G 以上才能得到比较理想的效果

所以如果真的不是能有确定的项目收入，不如直接租个服务器玩玩算了，大多数情况下，直接调用各个收费模型免费的 API 额度都比自己搭的模型靠谱

我的笔记本 i5 都能勉强跑得动 7b 的模型，用 ollama

@TabGre 最性价比的是 P104 ，100 多，sd 出图几秒一张

玩玩的话可以考虑租用，有很多算力租用平台，不过谨防跑路，谨慎甄别，祝顺利

@LanhuaMa 这个多少显存啊？

@leonme https://letmegooglethat.com/?q=Tesla+P4+ram

离线运行，纯推理 chat ？
可以试试 模型类型+ benchmark 关键字 找到你能接受的性价比。

单片 4090 有 model 容量天花板，容易见顶完全不能用，
反而 ram 64-128g 的话可以天花板更高点

@TabGre 4060 就可以

A100 可以吗？

@Leonkennedy2 我看了 A100 的参数，互连上面写的是 nvlink * 2 是只支持两块互连吗？

@lingeo 是的，单个接口 nvlink * 2 ，最多可以 2+2 ，4 块互联

@dcalsky 4090 这么拉跨嘛