发现了一个面向 AI API 中转站的开源监控及专属网关管理系统: TokHub

7 月 6 日
 maicai666

原帖 https://x.com/yaojingang/status/2074127139306455492

原帖内容: 这是一个面向 AI API 中转站的开源监控及专属网关管理系统:TokHub 迭代了一个月,和 @vista8 讨论后,我们决定开源给大家,欢迎下载本地部署,也可以直接使用 (文末附 GitHub 链接和 TokHub 网址)

核心做了几层能力: 1 、公开监控和通道详情 可以看已监测的 API 通道的状态、成功率、延迟、模型、价格和健康评分

2 、L1 / L2 / L3 分层探测 L1 看 DNS 、TCP 、TLS 、HTTP 连通性 L2 看 API Key 、模型列表和模型可用性 L3 直接做一次最小真实生成,用来判断“入口正常但模型实际不可用”的情况

3 、用户工作区和私有通道 用户可以收藏公开通道,也可以接入自己的 Endpoint 和 API Key 私有 Key 加密保存,按组织隔离,不把用户自己的上游暴露给平台后台

4 、一键生成个人专属网关 可以把多个平台通道和私有通道,聚合成个人专属网关,供自己的 Agent 或者自己的 AI 客户端统一调用,按延迟、成功率或成本做路由,并记录 Token 、延迟、成本、错误类型和审计事件

TokHub 现在提供 Docker 自托管部署,包含 PostgreSQL / Redis 、生产预检、备份恢复、安全扫描和发布检查

可以把它当作公开监控站,也可以用作自己或企业内部的 AI 网关 也欢迎在它上面继续二次开发自己的 API 服务导航

GitHub 地址: https://github.com/yaojingang/TokHub

TokHub 网址: https://tokhub.me

2169 次点击
所在节点    分享发现
1 条回复
moioooo
7 月 7 日
有个名字叫 tikhub 的..就差一个字母呀。
这家是做视频网站数据采集接口的,最近也上了 ai..所以第一眼看到还以为是同一个。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1225415

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX