部署大模型服务器需要啥样的配置啊

34 天前
 kelleyForGo

例如部署 deekseek-VL-32b ，服务器 GPU ，CPU ，内存，SSD 最低配置需要多大的？

776 次点击
所在节点    职场话题
2 条回复
harryge
34 天前
https://apxml.com/zh/posts/gpu-requirements-deepseek-r1 主要看显存。32b 需要大约 21G 的显存。单机部署可用 NVIDIA RTX 4090 24GB 。磁盘看下 huggingface 上模型大小，模型就 60G 了
kelleyForGo
34 天前
@harryge 感谢指导，看了上面链接的 DeepSeek 配置要求居然没有 VL 开源模型。有没有其他的推荐呀。需求是要识别图片+推理强的。蒸馏过的 32b 版本。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1150635

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX