信创 gpu 和 英伟达 gpu 如何选择?

2024-04-26 11:09:22 +08:00
 crazychang
项目背景:国资尾部券商,迫于 CIO 想出 AI 相关成绩,遂需采购 gpu server 。只做 llm 推理 不做调优 可能会放若干个 rag 系统上去。

考虑到以下几点有些犹豫:
1.证监会现对券商有要求,每年新投入的软硬件预算有信创指标(今年 20%-30%?逐年递增)。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%, 华为的产品还没有了解性能。
3.从自身出发,nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’,所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万,我们的预算 150 万左右,需要测试环境生产环境至少各一台。
3480 次点击
所在节点    问与答
21 条回复
wetalk
2024-04-26 11:20:38 +08:00
既然上头有要求,就按照要求来,剩下的 80%采购 nvidia
crazychang
2024-04-26 11:30:00 +08:00
@wetalk 我可能没说清楚 总预算不只是 gpu 预算 gpu 总预算需要有 20%-30%购买信创产品,gpu 预算只占 4%左右,也就是那 150 万。所以其实是个二选一的处境。
renmu
2024-04-26 11:43:37 +08:00
如果你是领导就买信创,不是就买英伟达
tangtang369
2024-04-26 11:45:21 +08:00
研发用肯定英伟达
YGHMXFAL
2024-04-26 12:05:51 +08:00
不是政策要求谁愿意为信创买单啊
feather12315
2024-04-26 12:18:38 +08:00
领导让买啥买啥, 不用犹豫不用纠结。
jlkm2010
2024-04-26 12:23:27 +08:00
考虑后续新增 gpu 的拓展性,那还是选国产算力卡吧,昇腾 910B 性能更强一些
kongyiji
2024-04-26 12:27:22 +08:00
那肯定是信创了,还要质疑?
sakilascott
2024-04-26 13:00:57 +08:00
你有权利做这个决定吗?
如果有,那肯定是谁的返点多买谁的。
如果没有,别瞎操心了。
zaizaizai2333
2024-04-26 13:38:10 +08:00
英伟达你能买到 V100 嘛?

灰色路径买到的,一旦被定位、发现,会被锁卡。

无论买啥,兼容 PyTorch 的最重要了,生态能给你用卡省不少事情。
minami
2024-04-26 13:55:35 +08:00
这个所谓的 Z100 ,是不是 AMD 那边买的技术。。。
unknowsll
2024-04-26 14:14:36 +08:00
1 、大陆使用被禁售的卡,会有被远程锁卡的风险措施; 2 、这个事情估计你拍不了板,还是领导定吧,因为涉及这种金额的事情,都属于江湖,而江湖不是打打杀杀,江湖是人情世故。
thep
2024-04-26 14:17:55 +08:00
不用纠结肯定信创,早用早舒心,省的折腾。
wzbrbj
2024-04-26 14:33:35 +08:00
我记得我听过一期播客,他讲做信创的公司都已经给你想好解决办法了,外壳是搞的信创的设备,实际 GPU 都是用的英伟达的。

2 个都要买的,信创的买了给领导看的,英伟达的才是真正干活的。找个信创的公司说你有什么什么需求,能不能满足。
ntedshen
2024-04-26 16:14:18 +08:00
不是怎么远程锁卡这种神奇的论调都出现了。。。
甚至明明都分不清哪张卡是哪张。。。

“8 卡 gpu 应该是 30 多万” 显卡的预算就算三万一张?

首先得搞清楚 v100 不是 a100 ,v100 就是个古代卡,家用 20 系一代的。。。
16g 的 v100 散装现在四千带票五千就可以买到,32g 的倒是要三万,但是主要是因为大显存贵,不是算力贵。。。
单论硬件规格这东西基本也就和一个 2080ti 差不多,除了 fp32 。。。

所以买 v100 的主要理由应该是你的需求真的需要在八张卡的限定内搞定 256g 显存,算力实际上没有被考虑。。。
而这“Z100 型号单卡性能相当于 V100 60%-70%”,这个百分比想来也是算力的差距。。。
但是当你开始考虑 v100 的时候其实已经意味着你没在考虑算力了。。。

于是乎结论应当是你要只吃显存那信创随便买。。。
要要求算力可以去买 v100 ,但是总的来讲属于咸鱼之选。。。

题外话的。。。
a100 国行是不好买不过 a800 最近卖的挺火。。。
我司来了好几台 nf5280m6 。。。
非要说显存价格比确实是不如 v100 ,甚至 cpu 的双路 xeongold 没能打过家用 12900k 。。。
但是至少是个新卡。。。
BMAO
2024-04-26 17:08:42 +08:00
国企里面优先考虑风险吧
n0bin0bita
2024-04-26 17:16:17 +08:00
@ntedshen 不懂就问,A100 真的会锁卡吗?具体形式或原理是啥样的,公司在阿里云上买了 A100 ,阿里云是有什么特权还是有什么小动作,他对外出租显卡,不会吃传票吗,真心好奇求解答
ntedshen
2024-04-26 18:34:04 +08:00
@n0bin0bita 这谁提你问谁啊,就一张卡我还好奇他怎么锁呢。。。
传说中的 intel on demand 也就只是硬件解锁,谁家单一硬件搞加锁的,又不是 switch 。。。
zaizaizai2333
2024-04-26 23:33:49 +08:00
@ntedshen
@n0bin0bita
@ntedshen 忘记上一轮以太币矿潮,驱动锁算力的卡了?闭源的驱动,点到为止。
ntedshen
2024-04-27 10:48:33 +08:00
@zaizaizai2333
1 、这不叫锁卡
2 、破解方案出现都没超过一个月

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1035844

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX