对于程序员,微调大模型这条路走的通吗?

51 天前
 lcingOnTheCake

现在大模型 AI 微调在实际应用中靠谱吗?

我在公司申请了一个 4090D 显卡,24GB 显存的,使用 qwen2.5-coder-32b-q3 + ollama + openwebui + rag 知识库,将开发文档和大模型结合,实现智能动态问答,感觉效果还可以。

为了更进一步,使用 llamafactory 微调 qwen 7b 大模型,将开发文档微调进大模型,但是翻来覆去的调试,最终的效果比 rag 知识库差很多

关于大模型微调,网上的教学资料能提供的参考也很少,B 站的视频最多介绍怎么搭建环境,微调参数的设置基本没有系统性讲解的

现在我有点搞不清楚了,是不是微调这条路走不通?还是我用的显卡太差,或者说我微调的参数设置的不对?反正我感觉大模型微调这条路很难走哎!请有经验的兄弟帮忙解答下,拜谢

1353 次点击
所在节点    程序员
7 条回复
testliyu
51 天前
可以试下参数量大点的模型
lcingOnTheCake
51 天前
@testliyu 4090D 显卡微调 7b 模型到顶了,参数量再大的显存不够了
wyntalgeer
51 天前
超参本来就没什么可参考性,同样的参数你每次都能得到不同能力的模型

吾辈都是随性设置,开炉评估说话,一切自有天意
queziaa
51 天前
对于一些常见任务,调整 RAG 策略、LLM 采用线上大参数版本、调整提示词。这些都是首选的改进策略。
微调虽然已经有些框架能让你很快速的进行一轮训练,但任务,数据集的选取,参数等等都是关键的东西,需要大量试错和调整,这又要求有一套评价体系,眼睛看肯定不行。
尤其又是微调时候因为节省显存采用量化或是采用 LoRa ,这些都很影响性能(尤其是知识性的)。 如果只有 4090D ,建议立刻放弃。
LeonardSc
51 天前
没意义,7B 除非是很简单的任务,否则就是效果不好
Suger828
51 天前
微调大模型来实现把知识灌入基本不可能,你只能重新预训练 , 微调做的只是让大模型懂一些专业的流程和术语的理解
ladeo
50 天前
32B 以下都可以自己干啊,用网上的算力平台跑。
FT 是手艺活,孰能生巧。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1138109

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX