如何训练出自己的大语言模型？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 595 天前的主题，其中的信息可能已经有所发展或是发生改变。

训练

模型

步骤

7 条回复 • 2024-03-16 16:25:17 +08:00

stinkytofu

2024-03-15 23:41:36 +08:00

有点扯吧，你有钱买那么多显卡么。

zhilincom

2024-03-16 07:05:30 +08:00

最近刚看到的：[7 分钟教你搭建本地无限制聊天 AI ，还能喂知识！]( https://www.bilibili.com/video/BV1hm411d7S1/)

CatCode

2024-03-16 08:36:35 +08:00

@zhilincom 搭建和训练不是一回事甚至微调和训练都不是一回事

@stinkytofu 不说显卡，训练的数据哪儿来都是问题

badmotherfucker

2024-03-16 08:44:09 +08:00

@stinkytofu M1 MAX 就行。开源的 llama 就够。

handuo

2024-03-16 10:22:00 +08:00 via Android

@badmotherfucker ?你是说训练是吧？

lbbff

2024-03-16 10:53:00 +08:00 via Android

个人就不要想训练了，配置巨高，有钱可以考虑微调

yhl10000

2024-03-16 16:25:17 +08:00

训练类似教育一个刚出生的人类，达到世界上知识最丰富，思考问题有逻辑，听得懂你说什么，看得懂单个图片或者连续图片（视频），然后用文字告诉你，或者绘制图片，或者播放声音，生成一些通用的的电脑文件（图片，文字等）。这个个人就不要完了，玩不起。

但你可以领一个别人训练好的模型（类似上面说的已经具备各种能力的人。），然后你在告诉他你的隐私秘密，个人数据，这样他就会结合他之前已经具备的能力以及你刚给他的信息（ prompt ），就可以解决你的问题了。这个相对来说能够承受的。