批了 100 万预算让我负责搭建行业知识库大模型, 但是目前还没有思路

虽然不太懂这方面 但是是不是可以考虑把这个问题丢到大模型里问问？

而且粗看一下，感觉对于 100 万预算的项目来说，14b 的有点小了吧

30w 发个外包 ？

@WaterWestBolus 第二段没仔细看 忽略我（）

知识库要上线本质还是不需要很大参数的模型，要做好意图识别和多路召回，意图识别节点在后续阶段可以使用微调小模型替代。

100w 搞个锤子 还满血版还要高质量多模态的召回

100w 包硬件吗？ 100w 包硬件不够花噢，就算上国产软硬件平台也不够花。

你既然把问题描述清楚了，为什么不直接问 AI 。。 我理解 RAG 目前已经是比较成熟的方案了，无非就是那几个关键步骤，但是真正落到细节上肯定还有很多事情可以做

直接打电话找 deepseek, glm,qwen 啥的让他们出个方案

@nkidgm 100w 是单独给硬件的费用, 人力成本等另算, 可以允许我自由抽调集团内的开发小组

@soulflysimple123 为什么你会认为他们会鸟你的电话？？？🤣

分析下效果不好的原因是什么，是召回阶段还是答案生成阶段，不同问题阶段的处理方式不同
1. 召回阶段，做好多路召回，向量召回（ huggingface 上的知名 embedding 模型都试下，bge 、qwen 等）和传统 ES 召回都做下，效果不会太差，如果领域术语较多，可能 es 召回效果还要更好一些。
2. 答案生成阶段，这个评估的更多了，首先调 API 试试大尺寸模型，看对领域内理解够不够。
- 够的话直接部署大模型完事。
- 如果不行。1. 考虑做领域内 continue pretrain, 把领域内知识学进去，然后走 SFT ，也许需要 RL, 人力物力 100w 可能不够，这种方案需要一个团队来搞。2. 走 PE + 多 agent ，为大模型添加更多的上下文背景知识。现在领域内大模型都倾向于这种模式

中间要搞结构化处理

单纯做文档向量化检索的效果确实很差，可以研究下 #11 的思路。

@Ricardoo 非常感谢，给了我很多思路

可以看看这个帖子
https://datawhalechina.github.io/all-in-rag/#/

垃圾进垃圾出

@wandehul #2 太多了，花 200 ，给大学生布置一个作业，然后弄不出来，没有毕业证

知识库最重要的就是数据准备，这部分得找专业公司做，数据质量差后面再好也白扯

向量检索真的非常垃圾。跟向量模型无关。我觉得就是向量检索其实根本没有『意图识别』的能力。

我举个例子，我的知识库里面有苹果手机、华为手机、OppO 手机的各种技术指标。但没有小米手机的任何数据。

然后当我提问：『小米手机的技术优势是什么』时，它会把苹果手机、华为手机的指标提出来给你，让你以为这是小米的指标。

所以向量检索有个屁的意图识别能力，它跟关键词匹配没有什么区别。

RAG 做好召回很难很难， 普通文本向量化倒还好，一些复杂的多维表格和带图片的 pdf 根本搞不下去。