现在大模型 AI 微调在实际应用中靠谱吗?
我在公司申请了一个 4090D 显卡,24GB 显存的,使用 qwen2.5-coder-32b-q3 + ollama + openwebui + rag 知识库,将开发文档和大模型结合,实现智能动态问答,感觉效果还可以。
为了更进一步,使用 llamafactory 微调 qwen 7b 大模型,将开发文档微调进大模型,但是翻来覆去的调试,最终的效果比 rag 知识库差很多
关于大模型微调,网上的教学资料能提供的参考也很少,B 站的视频最多介绍怎么搭建环境,微调参数的设置基本没有系统性讲解的
现在我有点搞不清楚了,是不是微调这条路走不通?还是我用的显卡太差,或者说我微调的参数设置的不对?反正我感觉大模型微调这条路很难走哎!请有经验的兄弟帮忙解答下,拜谢
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.