求 DeepSeekR1 性价比硬件推荐

153 天前
 klo424

想玩玩 DeepSeekR1 ,家里电脑太费电而且噪音大不适合一直开机,想入一个小巧一点的,噪音小点的性价比高的设备,专门跑 AI 。

是否有符合我需求的设备?

5344 次点击
所在节点    Local LLM
59 条回复
cnscud
153 天前
云服务。你用 1 一个月就没兴趣自建服务了,所以云服务最合适
xyfan
153 天前
清华的 ktransformers 应该是最性价比的配置方案了,单个消费级 GPU+足够大( 1T )内存就能跑 INT8 量化版,内存再大一些应该也能跑 FP 版,除非上水冷否则噪音不会太小,成本大头在 3090/4090 显卡和大量内存
klo424
153 天前
@cnscud 是买服务器自己搭建么?云服务器带显卡?
klo424
153 天前
@xyfan 查了一下 ktransformers 是框架?我需要硬件推荐。
knva
153 天前
买个 api 玩玩得了。
xytest
153 天前
@xyfan 但是这方案内存也贵呀
zhangH258
153 天前
@klo424 云服务器什么都带的,可以自己选择套餐和内容。我最近也想要搞,长期的话,确实还是自己搞服务器好一点,云服务器的成本不低来着
Chihaya0824
153 天前
买 api 得了,老实说,同时实现 1+2+3 ,不太可能,特别是 1
预算再少也要花 10k-14k 吧,那种预算下根本不可能有水冷,而且你要买的还是二手服务器,那不能说是噪音小,只能说是天天起飞
Greenm
153 天前
DeepSeek R1 就跟性价比没关系,更别提噪音小这种问题了,如果是原版纯用 GPU 版本跑,需求是 20 块 4090 或者 8 块 H800 ,多少公司也跑不起满血版 R1 ,如果是用 ktransformers 内存版本,速度比起 GPU 来说慢很多,况且内存价格也不便宜。

个人使用建议考虑下官方 API 接口更实际呢。
cnscud
153 天前
@klo424 云上也有显卡选择 就是组个云服务器玩玩。用 API 更省钱
joequan
153 天前
满血 671Bdeepseek r1 至少要两台 8 卡 h100 的服务器吧,减少噪音的话可以单独家里弄个低温隔音机房。说实话,与其自己折腾,不如租个云服务器,比自己搭成本会低一些。但为什么不用官方 api 呢?
zzzyk
153 天前
mac mini
easing
153 天前
家里自己部署满血版么。。。你说的这些大厂那么多资源都做不到和 DeepSeek 公司一样的 cost ,自己就别想了。
还是说只搞一个小参数版本玩一玩
AoEiuV020JP
153 天前
需要巨大显存所以 mac 应该算性价比高的了,几万块就够了,噪音相对小,
AoEiuV020JP
153 天前
@AoEiuV020JP #13 这应该是十几万吧,原谅我对顶配 mac 价格不敏感,
234ygg
153 天前
本地就算用 4090 5090 跑 32b 都亏麻了,api 要比自己折腾便宜太多太多了
xyfan
153 天前
@klo424 我说的就是硬件,自己攒机,服务器级别主板+4090 显卡+12 根 128G 内存+SSD ,估计 5 万以内就能搭出来,应该是最低成本的方案了。
marquina
153 天前
@klo424 #4 “查了一下 ktransformers 是框架?我需要硬件推荐。”
deepseek 和常规 llm 在架构上有较大差别(非常稀疏),而 llm 对硬件的要求相比常规应用又有较大区别。所以部署 deepseek 有多种推理方案:纯 CPU 、CPU/GPU 混合( ktransformers )、纯 GPU ,每种方案的硬件配置有很大差别。
但 OP 这种问法的话,我建议老老实实调 API 得了
NamelessRain
153 天前
我自己看了各种 671 版本的搭建,国内博主全都是硬加内存让它启动起来最多 2-3token ,海外博主只有一两个有大量显卡搭建的,其中有一个人用 8 块 h800 搭的 671B 每秒 15/token ,并且以上说的这些都不是真正意义上的满血版本,目前满血的版本连个成功部署的案例我都没找到跟别说能不能用了,如果有找到的发我下
shuixf
153 天前
官方 API 开放充值了,最为靠谱的选择。

其余云服务商就更多了选择了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1115350

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX