信创 gpu 和 英伟达 gpu 如何选择?

2024-04-26 11:09:22 +08:00
 crazychang
项目背景:国资尾部券商,迫于 CIO 想出 AI 相关成绩,遂需采购 gpu server 。只做 llm 推理 不做调优 可能会放若干个 rag 系统上去。

考虑到以下几点有些犹豫:
1.证监会现对券商有要求,每年新投入的软硬件预算有信创指标(今年 20%-30%?逐年递增)。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%, 华为的产品还没有了解性能。
3.从自身出发,nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’,所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万,我们的预算 150 万左右,需要测试环境生产环境至少各一台。
3481 次点击
所在节点    问与答
21 条回复
googol2chen
183 天前
GPU 用英伟达,符合信创要求吗?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1035844

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX