这是一个创建于 451 天前的主题，其中的信息可能已经有所发展或是发生改变。
我有一个 csv 文件，里面有 30 万个句子。
有没有什么现成的产品，可以做到：我输入 “蔬菜”，它帮我从 csv 文件中找到 “你的番茄是哪里买的？” 之类的和蔬菜相关的句子？
只是自己用，不是对外提供服务。最好开箱即用，越便宜越好。
ChatGPT 提示文件过大。QAnything 的回答完全没法用。
有没有什么现成的产品，可以做到：我输入 “蔬菜”，它帮我从 csv 文件中找到 “你的番茄是哪里买的？” 之类的和蔬菜相关的句子？
只是自己用，不是对外提供服务。最好开箱即用，越便宜越好。
ChatGPT 提示文件过大。QAnything 的回答完全没法用。
 |
1
F281M6Dh8DXpD1g2 2024-05-23 15:56:14 +08:00  1
rag 了解一下
|
 |
2
TimePPT PRO 1
你这需求如果就举例的那么简单，都不需要大模型，语义向量检索就能满足。
就是楼上的 RAG 的一部分。 |
 |
3
NickHopps 2024-05-23 16:50:54 +08:00
直接调用 openai 的 api 就可以实现，可以参考这篇文章 https://simonwillison.net/2023/Oct/23/embeddings/
|
 |
4
ck65 2024-05-23 16:55:13 +08:00
大致步骤：
1. 把 csv 分成 chunk ，一行一个 chunk 或 n 行一个 chunk 看行的长度定夺 2. 逐个 chunk 调 embedding API 换回一个 embedding 结果，存进 vector db 3. 用关键词「蔬菜」检索 vector db 借楼提一个引申问题：有不需要经过 embedding API 的办法吗？ |
 |
5
cando 2024-05-23 17:28:28 +08:00
输入"蔬菜"，让 GPT 给出所有的蔬菜，然后把所有的蔬菜拿到 csv 去匹配。
|
|
6
TimePPT PRO 1
|
 |
8
DTCPSS OP 基本解决了。
向量搜索用 Faiss 。 文本向量化用 aspire/acge_text_embedding 和 Alibaba-NLP/gte-Qwen1.5-7B-instruct 。 |
 |
9
kalafinaian 349 天前
Bert 得到句向量 Embedding 再 L2 归一化
然后矩阵乘法计算两两之间按相似度 |
Select Language