clvin 最近的时间轴更新 clvin 最近的时间轴更新 |
clvinV2EX 第 517591 号会员，加入于 2020-11-16 09:24:06 +08:00 |
clvin 最近回复了
2024-08-12 17:58:13 +08:00 回复了 ddvswgg 创建的主题 › Local LLM › 关于在本地部署开源模型的一些问题请教 |
1. 40G 可以跑 7B 的模型。
2. ollama 是比较方便的部署方式，如果想并发性能更好一些，可以使用 vllm 来推理。
3. 熟练的话就很快，不熟的话照着文档来部署。
4. ollama 和 vllm 都支持兼容 openai API 接口，就是 http 调用。
5. 上 RAG 可以使用集成好的框架，比如 dify 之类的。
6. 上 RAG 的话，还需要 EMBEDDING 和 RERANK 的模型，具体可以看 dify 的文档。
2. ollama 是比较方便的部署方式，如果想并发性能更好一些，可以使用 vllm 来推理。
3. 熟练的话就很快，不熟的话照着文档来部署。
4. ollama 和 vllm 都支持兼容 openai API 接口，就是 http 调用。
5. 上 RAG 可以使用集成好的框架，比如 dify 之类的。
6. 上 RAG 的话，还需要 EMBEDDING 和 RERANK 的模型，具体可以看 dify 的文档。
2024-06-24 17:59:05 +08:00 回复了 TriiHsia 创建的主题 › 分享创造 › 🌼 BalmyTime 一款跨平台的休息提醒 & 屏幕时间工具，欢迎体验 |
求一个码，谢谢~ aGNsdmluQGdtYWlsLmNvbQ==
Select Language