大神们推荐个，适合垃圾佬跑大模型的机器配置

2024-05-11 12:21:55 +08:00
 jedeft

场景： 1 、跑开源的大模型，做自己的知识库 2 、偶尔自己做一点微调

希望价格不要太高，几千块能搞定的那种，求推荐

1821 次点击
所在节点    机器学习
6 条回复
northbrunv
2024-05-11 12:27:47 +08:00
吃显存，16g 起步，最好 24g
codehz
2024-05-11 12:31:59 +08:00
你这还不如直接租在线的，几千块够用好久了
ShadowPower
2024-05-11 12:32:42 +08:00
P40 改散热 x2
lllabmaster
2024-05-13 08:32:10 +08:00
阿里云 PAI 能免费用 3 个月
jedeft
2024-05-13 14:32:38 +08:00
@lllabmaster 求链接
wencan
2024-05-14 21:20:02 +08:00
llama.cpp 加 量化，不要 gpu 也可以跑大模型

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1039754

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX