V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
tbphp
V2EX  ›  程序员

项目自荐: GPT-Load - 高性能 AI 网关,为多种大模型服务提供统一的负载均衡和密钥管理。

  •  
  •   tbphp · 13 天前 · 1387 次点击

    项目地址: https://github.com/tbphp/gpt-load
    如果对你有用,辛苦点个 Star 吧。

    简单说下,能干啥:
    支持多个渠道类型( OpenAI ,Gemini )的 Key 池轮询代理服务。 现在 Gemini 的免费 Key 又恢复了gemini-2.5-pro可用额度,马上去搞点 Key ,一键部署起来爽用! 如果你有很多硅基或者其他渠道的 Key ,也可以用这个项目来方便的管理多 Key 。

    一个高性能、企业级的 AI 接口透明代理服务,专门为需要集成多种 AI 服务的企业和开发者设计。采用 Go 语言开发,具备智能密钥管理、负载均衡和完善的监控功能,专为高并发生产环境而设计。

    详细请查看 官方文档

    功能特性

    • 透明代理: 完全保留原生 API 格式,支持 OpenAI 和 Google Gemini 等多种格式(持续扩展中)
    • 智能密钥管理: 高性能密钥池,支持分组管理、自动轮换和故障恢复
    • 负载均衡: 支持多上游端点的加权负载均衡,提升服务可用性
    • 智能故障处理: 自动密钥黑名单管理和恢复机制,确保服务连续性
    • 动态配置: 系统设置和分组配置支持热重载,无需重启即可生效
    • 企业级架构: 分布式主从部署,支持水平扩展和高可用
    • 现代化管理: 基于 Vue 3 的 Web 管理界面,直观易用
    • 全面监控: 实时统计、健康检查、详细请求日志
    • 高性能设计: 零拷贝流式传输、连接池复用、原子操作
    • 生产就绪: 优雅关闭、错误恢复、完善的安全机制

    Docker 快速开始

    docker run -d --name gpt-load \
        -p 3001:3001 \
        -e AUTH_KEY=sk-123456 \
        -v "$(pwd)/data":/app/data \
        ghcr.io/tbphp/gpt-load:latest
    
    # 使用 sk-123456 登录管理界面: http://localhost:3001
    

    还支持Claw Cloud快速部署,Docker Compose及源码部署。
    更多部署方式和使用方法情参考 官方文档

    10 条回复    2025-07-20 22:39:56 +08:00
    uRQDd07Pt2UWOtOF
        1
    uRQDd07Pt2UWOtOF  
       12 天前
    项目不错, 不过考虑到如何要使用这个代理, 用户要买机器, 要懂容器, 要买域名, 这个门槛其实挺高的

    这里有一个把你单租户的模式改成多租户的方案 ---》 机器在云上, 注册即可获得所有能力岂不更好?

    全球模型调用两步搞定,无需再买海外机器、搭代理、配域名:

    1. 注册 http://a.xaicontrol.com ,拿到 xai api key
    2. 在系统里录入自己的 OpenAI / Anthropic / Gemini / DeepSeek key ...

    即可通过 api.xaicontrol.com 稳定调用全球模型。区块链级加密,保障数据安全
    tbphp
        2
    tbphp  
    OP
       12 天前   ❤️ 2
    @xabclink 真的是人才啊。。。
    你觉得他们是信你的平台把秘钥上传给你,还是自部署可靠?

    跑别人帖子下来推广,还踩一捧一,论坛人才济济啊。
    w568w
        3
    w568w  
       12 天前
    uRQDd07Pt2UWOtOF
        4
    uRQDd07Pt2UWOtOF  
       12 天前
    @w568w 我只是给世界多了一个选择而已, 不必这样吧

    同样都是第三方服务器 , 本质上安全都是相同的 @tbphp , 再说数据安全问题最终是法律问题, 不讨论这个问题

    我只是给网友多一个选择, 你需要自信一点, 我认为你的项目不错
    Livid
        5
    Livid  
    MOD
    PRO
       12 天前   ❤️ 1
    @tbphp
    @w568w

    谢谢,1 楼的 spam 账号已经被彻底 ban 。
    Livid
        6
    Livid  
    MOD
    PRO
       12 天前
    @tbphp
    @w568w

    那个 spam 域名已经加入黑名单。
    w568w
        7
    w568w  
       12 天前
    @xabclink #4

    > 同样都是第三方服务器 , 本质上安全都是相同的
    ??? OP 的帖子哪里有第三方服务器了?我不至于蠢到分不清 SaaS 和 Open-source backend software……

    > 我只是给世界多了一个选择而已, 不必这样吧

    让 V 站管理员来定夺吧。在别人帖子里不打自家广,这是最基本的社交礼仪
    Livid
        8
    Livid  
    MOD
    PRO
       12 天前   ❤️ 1
    @w568w 在另外两个主题下的 spam 回复已经被清理。
    duzhuo
        9
    duzhuo  
       12 天前
    真离谱 把自己的 key 交给别人保管。。
    tbphp
        10
    tbphp  
    OP
       12 天前
    @Livid 管理神威,666 !
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1184 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 23:51 · PVG 07:51 · LAX 16:51 · JFK 19:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.