部署 langchain 需要什么硬件配置

2024-05-13 16:52:06 +08:00
 jedeft

不知道办公台式机能玩的开不?

1616 次点击
所在节点    程序员
3 条回复
hao7Chen
2024-05-13 17:03:36 +08:00
langchain 就是个编排框架,不需要啥配置,看你用的啥本地模型

用 cpp 就得内存大,cpu 大
用 gpu 就缓存越大越好吧
sleeepyy
2024-05-13 21:51:46 +08:00
langchain 就是个 library 啊,本身又不做 llm inference ,不需要啥硬件
smalltong02
2024-05-14 08:18:15 +08:00
langchain 是一套简化大语言模型加载推理的框架,而且还提供 Agent 和各种工具的集成,它本身并不需要什么硬件配置。真正吃硬件的还是你想加载的模型,鉴于一般办公台式机的 GPU 都没有或者很差,那建议你只能玩玩 gguf 的量化模型了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1040315

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX