V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PalWorld
V2EX  ›  Local LLM

多卡部署 QWQ Q8 是否可行

  •  
  •   PalWorld · 49 天前 · 1049 次点击
    这是一个创建于 49 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前手上有一块 3090 ,想再买个 5070ti ,凑个 40g 显存,这样可行吗?主板是华南 H12D ,CPU 是 7532 ,主要是想在本地部署个 ragflow ,可能还要部署 embedding ,rerank 和 ocr 的模型,或者买 2 张 5070ti 这样?

    3 条回复    2025-06-16 11:00:05 +08:00
    lithiumii
        1
    lithiumii  
       49 天前 via Android
    可行,不过建议 48G 的 4090 或者 4090D 一步到位
    mumbler
        2
    mumbler  
       49 天前
    1. 2080ti 22G 支持 nvlink ,两块组成 44G ,加上准系统不到 1 万,这是最廉价的方案

    2. qwq 32B 不如 qwen3 32B
    coefuqin
        3
    coefuqin  
       48 天前
    40G 少了,多卡之后会有 cache ,这个也是耗显存的。QWQ q8 起码要准备 60G 。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2634 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 09:43 · PVG 17:43 · LAX 02:43 · JFK 05:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.