现在训练一个垂类模型的成本大致是多少?

15 天前
 younger027

CURD 工程师,纯模型训练外行。想请教下目前训练一个垂直领域的 AI 机器人模型,大致成本分布是什么样的呢?数据层面公司有很多,包括文字、图片,视频。训练流程应该包括哪些方面的成本呢?(我只知道需要 gpu )。请大家不吝赐教。当然也可以花钱让别的公司给训练(主要还是数据不想交出去),靠谱的渠道公司一般会如何报价呢,交付流程又是什么样呢。(公司没有大模型团队)。

2648 次点击
所在节点    程序员
23 条回复
loryyang
14 天前
这个你们有人吗?如果这个 1kw 钱投到 GPU 里面,你可以去看看,现在的价格,这个妥妥的够用了。但你要说,你没人会,那还得招人啥的,就麻烦的去了
大模型训练(其实算微调)看着好像是这么回事,自己看看学习下,感觉自己会了。但因为黑盒性质,这里面的不确定性太大了,作为正常投入,你肯定要有产出,但其实没这么容易。
tickingMachine
14 天前
具体来说,训练分两类,预训练和后训练(叫微调也可以,只不过后训练的范围更宽,微调更多直接对接使用方向)。

如果你的训练数据非常巨大,那推荐从预训练开始,从头打造专属的垂直大模型,给个参考,开源模型 Qwen2.5 是 18 万亿个 token ,Qwen3 约 36 万亿个 token ,预训练的成本也非常大,机器+训练+实验+调优等,但是 1kw 的预算可以 cover 全流程了,找国内做模型这块的厂可以直接包个团队来做全套。

如果没有那么大量的数据,“prompt + RAG + 微调 + 大量工程化” 这套流程更加推荐,这方面的教程非常多,金钱成本也非常的低,但是需要大量时间做调研和实验。
piero66
14 天前
感觉微调 qwen3 够用了,很便宜

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1141410

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX