V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
butcher
V2EX  ›  分享创造

自己写了个工具:测试各种 LLM 接口性能,专治那些“说得好听但跑得慢”的 AI 中转站

  •  
  •   butcher · 8 天前 · 906 次点击
    现在 LLM 到处都是,接口提供商也一堆。除了官方的 OpenAI 、Anthropic ,还有各种第三方转发平台:
    • 有的号称“便宜三分之一”
    • 有的主打“国内免代理访问”
    • 有的甚至说“模型加速、输出更稳”

    但用过的人都知道——这些东西,有些是真快,有些是真慢。

    ❓我写这个工具干嘛的

    做项目时需要调多个模型,就想知道到底哪个快哪个慢、输出稳不稳,于是写了这个:

    📦 项目名: https://github.com/qjr87/llm-api-test
    🧪 演示站:llmapitest.com

    功能很简单:

    输入你的模型接口地址,它自动跑多轮请求,统计两个核心指标:
    • 平均首字响应时间( ms ):从发出请求到模型开始回话的时间
    • 平均输出速度( token/s ):整体吐字速度

    跑完之后会输出图表对比,不靠感觉说快慢,直接上数字。

    ✅ 支持哪些接口?

    目前内置支持:
    • OpenAI 系列(官方 / 各种魔改 / reverse proxy )
    • Claude 系列( Anthropic 官方)
    • 你可以自定义接任何兼容 OpenAI 格式的 API ,比如:
    • DashScope
    • Moonshot
    • DeepSeek
    openrouter.ai
    • 各种国内第三方转发接口

    🧠 适合谁用?
    • 想判断第三方 API 平台值不值得买
    • 想测试自己自建 LLM 服务在不同参数下的表现
    • 在做 prompt 工具 / UI 项目,需要选个最快的后端
    • 运维同学想量化 LLM 服务稳定性和波动性

    🧩 项目特点
    • 参数简单清晰,不用 SDK ,不装 Chrome 插件
    • 一次测多个模型,支持并发请求和多轮测试
    • 图表展示直观,支持导出数据分析
    • 可以当成 “中立测速平台”,不信广告看数据

    如果你也用过那些“吹得很猛结果超慢”的 AI 接口,
    不如自己测一测,别再被文案忽悠了。

    👉 项目地址: https://github.com/qjr87/llm-api-test
    👉 在线体验: https://llmapitest.com/
    1 条回复    2025-06-30 11:44:33 +08:00
    wwyf
        1
    wwyf  
       7 天前
    如果可以测试 api “是否掺水” 的话那将是绝杀
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   948 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 21:46 · PVG 05:46 · LAX 14:46 · JFK 17:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.