姚金刚把TokHub开源了,能统一监控管理多个AI API中转站,还支持生成个人网关,懒人福音。
姚金刚开源的TokHub项目针对AI API中转站提供监控和网关管理。系统公开监测API通道的状态、成功率、延迟、模型、价格和健康评分。它通过L1/L2/L3分层探测,分别检查DNS、TCP、TLS、HTTP连通性、API Key可用性及模型实际生成能力。用户可收藏公开通道或接入私有Endpoint,加密保存Key,并聚合多平台通道生成个人专属网关,按延迟、成功率或成本路由。TokHub支持Docker自托管部署,集成PostgreSQL/Redis、生产预检和备份恢复。
姚老师打磨一个月的开源项目,为了让大家用上靠谱的中转站。 另外很便管理一堆中转站,中小企业部署分配管理Token。 https://t.co/2o4QEpgW1K
姚老师打磨一个月的开源项目,为了让大家用上靠谱的中转站。 另外很便管理一堆中转站,中小企业部署分配管理Token。 tokhub.me 姚金刚 @yaojingang 这是一个面向 AI API 中转站的开源监控及专属网关管理系统:TokHub 迭代了一个月,和 @vista8 讨论后,我们决定开源给大家,欢迎下载本地部署,也可以直接使用 (文末附GitHub链接和TokHub网址) 核心做了几层能力: 1、公开监控和通道详情 可以看已监测的API通道的状态、成功率、延迟、模型、价格和健康评分 2、L1 / L2 / L3 分层探测 L1 看 DNS、TCP、TLS、HTTP 连通性 L2 看 API Key、模型列表和模型可用性 L3 直接做一次最小真实生成,用来判断“入口正常但模型实际不可用”的情况 3、用户工作区和私有通道 用户可以收藏公开通道,也可以接入自己的 Endpoint 和 API Key 私有 Key 加密保存,按组织隔离,不把用户自己的上游暴露给平台后台 4、一键生成个人专属网关 可以把多个平台通道和私有通道,聚合成个人专属网关,供自己的Agent或者自己的AI客户端统一调用,按延迟、成功率或成本做路由,并记录 Token、延迟、成本、错误类型和审计事件 TokHub 现在提供 Docker 自托管部署,包含 PostgreSQL / Redis、生产预检、备份恢复、安全扫描和发布检查 可以把它当作公开监控站,也可以用作自己或企业内部的AI网关 也欢迎在它上面继续二次开发自己的API服务导航 GitHub地址: github.com/yaojingang/Tok… TokHub网址: tokhub.me 🔗 View Quoted Tweet 💬 1 🔄 0 ❤️ 6 👀 1808 📊 2 ⚡