sxueck 最近的时间轴更新
sxueck

sxueck

V2EX 第 438832 号会员,加入于 2019-08-30 17:18:39 +08:00
今日活跃度排名 30167
sxueck 最近回复了
@blushyes 我试一下,感谢
https://github.com/sxueck/llm-gateway/blob/main/docs/screenshot.md
这里可以看具体的模型配置和选择
@daimaosix 目前还是 mvp 版本呢,在迭代功能稳定性,ui 细节很多时候将就了
这个其实更像 higress 或者 kong 这种传统 ai 网关的轻量版本,而不想 oneapi 这种类似“建站 Saas”的产品,例如添加了 prompt 优化、上下文压缩、专家路由等功能都是 higress 插件延伸过来的概念
@NUT 你指的是哪个 api 呢,是可以动态创建虚拟密钥、用户这种代理层的配置 api 么,还是指的是 openai 的 api 调用,这个可能暂时不会添加,因为本身就是基于 portkey 的封装 webui ,再提供一层 api 有点套娃的味道
@kknd22 http 的问题校验已修复,更新到了 main ,其他方面暂时先保证稳定性,比如当前日志翻页还有点问题,我之前也是深度网关类型的用户,包括 saas 和 unmanaged 都用过半年以上,目前该项目还是以核心 llm 聚合分发为主
@kknd22 日志截断 content 后存入数据库,ttl 默认 7 天,日志记录过程异步且非原子操作,不做 100%可靠性
@xxlsize 侧重分布式,例如你可以指定 claude 走美国节点,指定 deepseek 走国内
120 天前
回复了 sxueck 创建的主题 分享创造 自荐跨平台 Singbox GUI 客户端
@slowmist singbox 可以 dns 分流,最初衷还是给我公司写的内网域名和外网做不同的 dns
124 天前
回复了 sxueck 创建的主题 分享创造 自荐跨平台 Singbox GUI 客户端
@yjf2614 目前最新版本添加了 tun 的支持
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   944 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 21:00 · PVG 05:00 · LAX 14:00 · JFK 17:00
♥ Do have faith in what you're doing.