极简分布式开源 AI 网关 - LLM Gateway 测试版

63 天前
 sxueck

最近因为长期使用的 litellm 因为作者迫于盈利压力，把很多原本属于高频常用的功能列为了企业版本专属特性，正好国庆的时候闲下来了，就写了一款基于 Portkey Gateway 实现的 LLM 聚合网关，本来就想随手一写满足自己的需求的，但是后来发现周围的朋友评价都挺好，就打算完善一下正式发布出来，主要面向用户：

自建服务用户，我将永远不会做企业版，也不会开通打赏等功能 项目由于还是属于我主要在维护和使用，目前不会加入例如组织等功能 目前先完善基础的 LLM 的聚合功能，MCP 和 Claude 协议后续会根据 我的项目地址： https://github.com/sxueck/llm-gateway 项目 Demo： http://demo-api.sxueck.com:3000/ demo / demo1234

同时我也是 xiaoxhao/lvory 的作者，该项目目前下载量已达 960 次，迭代近 20 个版本，维护周期大家应该是可以放心的

2304 次点击
所在节点    分享创造
15 条回复
xxlsize
63 天前
这个跟 newapi 比有啥不一样，功能好像没没那么全
sxueck
63 天前
@xxlsize 侧重分布式，例如你可以指定 claude 走美国节点，指定 deepseek 走国内
kknd22
62 天前
不知日志能记录到什么情况？
sxueck
62 天前
@kknd22 日志截断 content 后存入数据库，ttl 默认 7 天，日志记录过程异步且非原子操作，不做 100%可靠性
kknd22
62 天前
@sxueck 其实是想要一个记录日志方便调试和可以修改网络数据的网关程序，现在在自己弄
另外，您的项目 base url 只能填写 https ，内网用户不太便利。
其他方面可以参考参考 new-api one-api 这些
sxueck
62 天前
@kknd22 http 的问题校验已修复，更新到了 main ，其他方面暂时先保证稳定性，比如当前日志翻页还有点问题，我之前也是深度网关类型的用户，包括 saas 和 unmanaged 都用过半年以上，目前该项目还是以核心 llm 聚合分发为主
kknd22
60 天前
@sxueck
明白，看来我这个需求属于小众需求了
NUT
58 天前
有 api 吗？这个挺好的，面向中台项目集成，相当于把项目访问 llm 这块直接剥离出来。做成一个网关微服务挺好的。 可以和我们内部项目进行集成。
sxueck
58 天前
@NUT 你指的是哪个 api 呢，是可以动态创建虚拟密钥、用户这种代理层的配置 api 么，还是指的是 openai 的 api 调用，这个可能暂时不会添加，因为本身就是基于 portkey 的封装 webui ，再提供一层 api 有点套娃的味道
sxueck
58 天前
这个其实更像 higress 或者 kong 这种传统 ai 网关的轻量版本，而不想 oneapi 这种类似“建站 Saas”的产品，例如添加了 prompt 优化、上下文压缩、专家路由等功能都是 higress 插件延伸过来的概念
NUT
57 天前
@sxueck #9 指的就是这个套娃的 api 的创建。
daimaosix
56 天前
UI 报错，就是问题太多
daimaosix
56 天前
报错 --> 不错
daimaosix
56 天前
仔细看了下，设计的也挺好，就是 UI 细节不太行
sxueck
56 天前
@daimaosix 目前还是 mvp 版本呢，在迭代功能稳定性，ui 细节很多时候将就了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1165227

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX