部署大模型服务器需要啥样的配置啊

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 34 天前的主题，其中的信息可能已经有所发展或是发生改变。

例如部署 deekseek-VL-32b ，服务器 GPU ，CPU ，内存，SSD 最低配置需要多大的？

2 条回复

harryge

34 天前

https://apxml.com/zh/posts/gpu-requirements-deepseek-r1 主要看显存。32b 需要大约 21G 的显存。单机部署可用 NVIDIA RTX 4090 24GB 。磁盘看下 huggingface 上模型大小，模型就 60G 了

kelleyForGo

34 天前

@harryge 感谢指导，看了上面链接的 DeepSeek 配置要求居然没有 VL 开源模型。有没有其他的推荐呀。需求是要识别图片+推理强的。蒸馏过的 32b 版本。