gemma2 2B 一键整合包（2.3G），能力超过 gpt3.5， cpu 也能跑得飞快

2024-08-07 17:11:39 +08:00
 mumbler

https://flashai.com.cn/model/gemma2_2b

不用 GPU ，在 12 代 i7cpu 也能跑出 20+token/秒的速度

无需任何配置，开箱即用

支持 win10,win11 ，mac11+

图形界面，不用自己安装 webgui

自带 embedding 库，支持上传 pdf,docx,txt,md 创建知识库

文档翻译工作流，一次翻译整本书

知识树，从大模型压榨数据

离线使用，大模型基础功能永久免费

2125 次点击
所在节点    Local LLM
7 条回复
asaworld
2024-08-07 20:04:51 +08:00
看着不错，有没有老哥测试下
zhs227
2024-08-07 20:17:12 +08:00
mac 11.6.1 启动报错，大概就是执行模型加载错误了
zhs227
2024-08-07 20:26:17 +08:00
"/Applications/FlashAI B2.app/Contents/Resources/flashai_server" -model gemma2:2b-instruct-q4_K_M -path "/Applications/FlashAI B2.app/Contents/Resources/embeddings"
zsh: segmentation fault "/Applications/FlashAI B2.app/Contents/Resources/flashai_server" -model -pat
mumbler
2024-08-07 21:00:16 +08:00
@zhs227 第一次运行有可能失败，重启一下试试
zhs227
2024-08-07 22:30:56 +08:00
启了无数次都是一样的。报 segmentation fault ，应该是哪里内存越界了。
mumbler
2024-08-07 22:48:46 +08:00
@zhs227 可以在 flashai.com.cn 主页扫二维码进交流群，帮你看看
Pepsigold
2024-10-22 16:43:26 +08:00
3090 部署的话，并发支持多少？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1063275

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX