运行 AI 有感, GPU 显存带宽大,访问速度飞快。PC DDR 内存慢,当初就不应该那么设计插槽的。那么多年下来,消费级还是双通道为主。

155 天前
 tool2dx
应该把金手指去掉,做成 CPU 那种一大堆触点,这样就可以搞搞 8/16/32 多通道技术了。

你看隔壁 XBOX 这种 APU 游戏机设计,虽然延迟不怎么样,但至少做到了显存和内存的真融合技术。不像 PC ,只要爆显存,推理速度就巨慢。那么多年下来了,内存带宽就是上不去(对比 GPU 显存 GDDR 的超大带宽,直流口水)

老是有人说,游戏机设计目的和通用 PC 不一样,我就不明白哪里不一样了,不都是运行 EXE/ELF 程序嘛。我估计未来 PS6 跑 deepseek ,那也是手到擒来。
1210 次点击
所在节点    硬件
10 条回复
Donaldo
155 天前
尺寸不够吧,竖着能有那么多颗粒,你这样横着怎么搞,只能靠堆叠了,技术过关么。
tool2dx
155 天前
我查了一下 wiki ,早在十几年前,差不多 GTX660 的时代,就已经上 GDDR5 显存,带宽 bandwidth 干到了 186G/s

然后十多年过去了,内存要到达同等速率,一直是可望不可即的存在。
tool2dx
155 天前
@Donaldo 所以说传统 PC 没有创新意识,幸亏苹果 Mac mini 4 自研了 SoC ,要不然大家还在用龟速 x86 CPU 。
Donaldo
155 天前
@tool2dx #3 片上内存这个概念和苹果有什么关系......................................................您还是多去了解一下再来评论吧
tool2dx
155 天前
@tool2dx 我是说苹果的 M1/2/3/4 系列芯片的创新意识,不破不立,技术革新不能太墨守成规。

早年坚持 ARM 替代 x86 ,会造成很多软件不兼容,微软也不敢动,只有苹果做到了。
tool2dx
155 天前
至于为什么要把苹果扯进来,因为他内存带宽超级高啊,基本上和显存带宽不相上下了。(金子价格另说)

普通 PC 能做到这点吗?完全不可能。
june4
155 天前
amd 的 ai pc 和最近 intel 的 cpu 不都是统一内存
tool2dx
155 天前
@june4 台式机还是 ddr5 为主,双通道跑分顶天 90G/s ,比起十年前的 GTX660 ,还差了整整一半。
ryd994
155 天前
因为不需要。GDDR 带宽大是靠位宽。延迟比 DDR 高。CPU 做计算需要的是延迟不是带宽,各种控制指令让 CPU 有大量随机读写。miss 多几次,有效带宽就下来了。

苹果用的是 LPDDR ,LPDDR 功耗低但是价格贵。容量很有限。苹果的内存带宽高是不得已为之。因为是融合内存架构。GPU 没有显存,等于核显共享内存。所以内存必须做到带宽高同时延迟低。这就是金子内存的原因。X86 移动平台一直都有用 LPDDR 的选项,在苹果自研 soc 之前就有。

PC 上内存和显存分离,分别优化延迟和带宽,成本更低。普通台式 PC 要么低成本,要么打游戏。都不是带宽敏感的应用,很少会跑满内存带宽。GPU 用显存,也不需要考虑内存带宽。

像你这样非要在家用平台上跑 AI 的,根本就是小众异类。服务器平台十五年前就是 4 通道。最新的 xeon 支持 12 通道,就问你带宽够不够?你跑 AI 爆显存之后慢,瓶颈是 pcie 延迟和带宽,内存带宽再大也白搭。人家跑 AI 用的是专业计算卡,不需要拿内存当显存用。这种 GPU 计算服务器,CPU 和内存可以极致减配,只负责为显卡服务。
crac
148 天前
我总结一下楼上各位的意思,东西是有的,你不了解就开喷时不对的。

我建议你买个 HP Z8 G5 主机上双路 16 通道内存浅玩一下

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1116417

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX