ZimaBlueee 最近的时间轴更新 ZimaBlueee 最近的时间轴更新 |
ZimaBlueeeV2EX 第 635411 号会员，加入于 2023-06-22 22:47:58 +08:00 |
| 《高性能 MySQL》第三版：是否已经过时？ MySQL • ZimaBlueee • 11 天前 • 最后回复来自 nmsn | 36 |
| A30 显卡-24G 显存，推荐部署什么大模型呢
1 Local LLM • ZimaBlueee • 80 天前 • 最后回复来自 hefish
|
8 |
| ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白
1 Local LLM • ZimaBlueee • 96 天前 • 最后回复来自 hefish
|
19 |
ZimaBlueee 最近回复了
14 天前 回复了 ZimaBlueee 创建的主题 › MySQL › 《高性能 MySQL》第三版：是否已经过时？ |
@xuanbg 主要我做的是 JavaWeb 方向，关系型数据库必备的
14 天前 回复了 ZimaBlueee 创建的主题 › MySQL › 《高性能 MySQL》第三版：是否已经过时？ |
@Sangs3112 请问是哪个平台的课程吗？作者是哪个呀？谷歌搜了一下看到好多同名的
95 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › A30 显卡-24G 显存，推荐部署什么大模型呢 |
@linauror 这个名词我找 ai 问过，ai 说思考过程是拟人化的表达，表述成显示化推理会更准确。。我也分不清了 QAQ
95 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › A30 显卡-24G 显存，推荐部署什么大模型呢 |
@jackerbauer 不需要推理哈，推理的时间太长了
97 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
谢谢各位的回复，答案基本有了：
1. modelfile 文件需要自己手动编写，这对新手来说主要怕写的不好，怕漏东西或写的不完美。
2. 用 server 启动时指定环境变量来指定 GPU ，或者开 2 个 docker 容器来指定。这里我选择了后者，开 2 个 docker 容器简单好维护。
再次感谢各位的热心回答！
1. modelfile 文件需要自己手动编写，这对新手来说主要怕写的不好，怕漏东西或写的不完美。
2. 用 server 启动时指定环境变量来指定 GPU ，或者开 2 个 docker 容器来指定。这里我选择了后者，开 2 个 docker 容器简单好维护。
再次感谢各位的热心回答！
97 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@joyhub2140 如果想分配另一张卡，是需要再开一个新的容器吗？
97 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@iSkylar 明白您的意思，但是环境变量不是只能设置一个嘛？如何在同一个 docker 容器内为 2 个大模型分配各自的显卡呢？
请问是这样操作吗：我部署 A 模型时，先把 CUDA_VISIBLE_DEVICES=0 ；部署 B 模型时，再把 CUDA_VISIBLE_DEVICES=1 。这样不会改变 A 模型的运行显卡吧？
请问是这样操作吗：我部署 A 模型时，先把 CUDA_VISIBLE_DEVICES=0 ；部署 B 模型时，再把 CUDA_VISIBLE_DEVICES=1 。这样不会改变 A 模型的运行显卡吧？
97 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@b821025551b 刚看了一下 ollama show --modelfile 还会额外补充信息，比我自己写的 modelfile 内容还要丰富很多
97 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@hcr707305003 很多模型找不到 modelfile ，比如这个： https://huggingface.co/Qwen/QwQ-32B
97 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@iSkylar 我现在是用 docker 跑的，这是我的配置：
```
services:
ollama:
volumes:
- /opt/models:/root/.ollama
- ./modelfiles:/root/modelfiles
container_name: ollama
tty: true
restart: always
image: ollama/ollama:latest
ports:
- 7013:11434
environment:
- OLLAMA_KEEP_ALIVE=24h
- TZ=Asia/Shanghai
networks:
- ollama-docker
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["1"]
capabilities: [gpu]
```
我在配置中指定了：device_ids: ["1"]，也就是这个容器使用第二块显卡，这里我需要把 1 改成 all 吗？改成 all 的话，还能使用环境变量指定 GPU 嘛，请问是在 modelfile 里指定 GPU 编号嘛?
```
services:
ollama:
volumes:
- /opt/models:/root/.ollama
- ./modelfiles:/root/modelfiles
container_name: ollama
tty: true
restart: always
image: ollama/ollama:latest
ports:
- 7013:11434
environment:
- OLLAMA_KEEP_ALIVE=24h
- TZ=Asia/Shanghai
networks:
- ollama-docker
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["1"]
capabilities: [gpu]
```
我在配置中指定了：device_ids: ["1"]，也就是这个容器使用第二块显卡，这里我需要把 1 改成 all 吗？改成 all 的话，还能使用环境变量指定 GPU 嘛，请问是在 modelfile 里指定 GPU 编号嘛?
Select Language