我做了一个 Ollama JSONL 批量推理工具，除了 Ollama 还支持 Deepseek 等 OpenAI Style 兼容 API

21 天前
 mili100

你好啊，

我最近在做模型微调时，需要对一些数据进行预处理和生成一些 DPO 使用 Rejected 的负面数据（虽然我后来才发现智谱的 GLM4-Flash 有提供免费的批量推理）， 我很自然的想要使用 Ollama 上部署的 Qwen3 30B A3B ，但是意外的发现似乎还没有 Ollama 适用的 JSONL 批量推理工具。我总觉得它本应该存在，于是我就做了一个。

https://github.com/mili-tan/Onllama.OllamaBatch

当然使用起来也非常简单，如果你的 Ollama 在默认端口最简单的方法是只需要将你的 JSONL 重命名成 input.jsonl 丢到和程序同一个目录底下然后运行就可以了，当然记得把 JSONL 中的模型名称改成你需要的模型名称，或者用 --model qwen3:30b 参数来指定你的模型名称。还有记得参考 这里 配置一下并发（ CPU 推理和混合推理是没有并发的，改了环境变量似乎也没用）。 更多的用法可以参考 --help 中的帮助。

顺带一提因为 Deepseek 的夜间半价，所以我也做了 OpenAI Style API 的支持，--use-oai --oai-url=https://api.deepseek.com/v1/chat/completions --oai-sk=sk-balabalabala 使用起来就像这样。另外因为我个人的偏好默认的输出格式是直接将助手的回答添加到消息列表中，如果你希望获得与 OpenAI 相似的包含result的结果你也可以使用 --oai-output 来指定。另外针对一些厂商的并发和 RPM 限制我也添加了一些对应的参数你也可以参考下 --help 来看看有没有合适的。

365 次点击
所在节点    Local LLM
2 条回复
coefuqin
20 天前
批量推理还用 ollama ？它不支持 tensor parallelism infrense 。你做成支持 llama.cpp/vllm/sglang 的都更 ok 一点。
ollama 就是业余的玩具而已，粘上它只会显得不专业。
mili100
20 天前
@coefuqin 我的工作站是 3090 单机单卡，用不到 Tensor Parallelism 。Ollama 的模型管理非常方便只需要 `ollama run`就搞定了，我也希望生成一些 Rejected 用的垃圾还要花上几十分钟来搭环境。我觉得 Ollama 很适合我的用例，所以什么不呢。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1140554

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX