自己写了个工具:测试各种 LLM 接口性能,专治那些“说得好听但跑得慢”的 AI 中转站

8 天前
 butcher
现在 LLM 到处都是,接口提供商也一堆。除了官方的 OpenAI 、Anthropic ,还有各种第三方转发平台:
• 有的号称“便宜三分之一”
• 有的主打“国内免代理访问”
• 有的甚至说“模型加速、输出更稳”

但用过的人都知道——这些东西,有些是真快,有些是真慢。

❓我写这个工具干嘛的

做项目时需要调多个模型,就想知道到底哪个快哪个慢、输出稳不稳,于是写了这个:

📦 项目名: https://github.com/qjr87/llm-api-test
🧪 演示站:llmapitest.com

功能很简单:

输入你的模型接口地址,它自动跑多轮请求,统计两个核心指标:
• 平均首字响应时间( ms ):从发出请求到模型开始回话的时间
• 平均输出速度( token/s ):整体吐字速度

跑完之后会输出图表对比,不靠感觉说快慢,直接上数字。

✅ 支持哪些接口?

目前内置支持:
• OpenAI 系列(官方 / 各种魔改 / reverse proxy )
• Claude 系列( Anthropic 官方)
• 你可以自定义接任何兼容 OpenAI 格式的 API ,比如:
• DashScope
• Moonshot
• DeepSeek
openrouter.ai
• 各种国内第三方转发接口

🧠 适合谁用?
• 想判断第三方 API 平台值不值得买
• 想测试自己自建 LLM 服务在不同参数下的表现
• 在做 prompt 工具 / UI 项目,需要选个最快的后端
• 运维同学想量化 LLM 服务稳定性和波动性

🧩 项目特点
• 参数简单清晰,不用 SDK ,不装 Chrome 插件
• 一次测多个模型,支持并发请求和多轮测试
• 图表展示直观,支持导出数据分析
• 可以当成 “中立测速平台”,不信广告看数据

如果你也用过那些“吹得很猛结果超慢”的 AI 接口,
不如自己测一测,别再被文案忽悠了。

👉 项目地址: https://github.com/qjr87/llm-api-test
👉 在线体验: https://llmapitest.com/
909 次点击
所在节点    分享创造
1 条回复
wwyf
7 天前
如果可以测试 api “是否掺水” 的话那将是绝杀

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1141826

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX