开源项目 · AGPLv3 · 基于 QuantumNous / New API

AIGateway

为多种 AI 客户端提供统一模型入口,在上游 New API 基础上增强协议兼容、请求观测、费用计算与组织接入能力。

查看 GitHub 源码 ↗ · 首页项目摘要

目标与能力

同一组织使用多种客户端和模型时,差异不仅在 API 地址,还包括消息角色、工具调用、推理内容与费用口径。网关集中承担这些差异,让客户端接入、模型切换与用量核对有共同入口。

公开版本增强 OpenAI Responses、Anthropic 与 Gemini 等协议适配,规范工具调用和推理内容转换;支持按用户、模型分析请求趋势、峰值 RPM、Token 吞吐、缓存命中、延迟、费用与最终上游归因,并补充动态阶梯计费、配额计算保护、设备授权、会话上限和配置归档 API。

请求与治理链路

AIGateway 多协议网关架构 AI 客户端的请求经过鉴权与配额检查、协议适配和模型路由到达上游。用量、费用和请求归因进入治理与分析模块。 AI 客户端多种请求协议鉴权与配额组织接入适配与路由工具 · 推理内容模型上游多渠道接入用量分析与计费请求归因 · 缓存 · 延迟 · 费用
脱敏逻辑图。协议适配处理请求差异,用量与最终上游归因支持费用核对和运行分析。

实际接入流程

  1. 客户端使用网关入口发起请求,网关按用户身份与模型配置执行接入和配额检查。
  2. 根据目标渠道完成消息、工具和推理内容适配,转发到选定上游并返回响应。
  3. 结合最终上游与用量核对统计和费用;兼容问题先用最小请求复现,再验证完整工具调用。

工程取舍

复用 New API 的网关基础,将定制集中在真实客户端兼容和组织治理需求上。协议兼容不能只看接口名称:接入 Pi CLI 时,曾由 HTTP 400 定位消息角色差异,调整客户端角色声明与推理回放约定,再验证最小请求及 bash 工具调用链路。

验证与公开边界

2026 年 9 月以脱敏源码快照公开,保留 QuantumNous / New API 归属与 AGPLv3 许可证。组织内接入实践提供了兼容问题的验证场景,但公开源码不包含组织服务、生产配置或凭据;具体模型能力取决于渠道配置与上游支持,不能由协议名称推定。