← 项目索引

new-api 定制工程实践

工程实践 · 脱敏逻辑视图

目标与范围

在上游 QuantumNous/new-api 基础上进行定制,把模型接入扩展为可对账、可观测、可迁移、可回滚的生产工程。这里介绍内部工程实践;AIGateway 的公开产品定位另有独立页面。上游提供基础能力,定制计价、导出器与交付工具分别承担明确职责,不能把完整网关描述为从零自研。

组件与架构

网关承接模型请求,计价表达式根据时间与规则计算配额,用量日志保留可复算依据。Prometheus 导出器和成本导出器分别提供运行与成本视角;SQLite 到 PostgreSQL 迁移工具处理存储演进,relaykit 拆分为可独立构建模块。

new-api 定制工程实践逻辑架构协议入口与路由连接计价表达式引擎,并向用量与成本导出提供请求信息;蓝绿发布与探针用于发布和验证网关版本。脱敏职责关系图,发布流程不属于单次请求的串行处理链路。new-api 定制工程实践 · 逻辑视图协议入口与路由计价表达式引擎用量与成本导出蓝绿发布与探针发布与验证逻辑关系示意 · 不包含内部地址与生产配置
依据已有项目材料整理的逻辑图;方框表示职责,不表示独立服务数量。

执行流程

构建先锁定基础镜像 digest,使用定制 Dockerfile 完成离线构建;发布到蓝绿双槽后持续探测请求链路,再完成切换。出现异常时依照已演练的路径回滚。计价验收将日志 quota 与表达式复算逐笔对照,让账目可以从请求结果追溯到规则。

工程取舍

以明确的定制边界保留上游基础能力,避免升级时混淆原有实现与新增逻辑。离线构建减少外部依赖变化;双槽发布增加资源占用,但保留可切回的已知版本。价格规则集中表达,减少散落在业务分支中的隐式约定。

验证边界

既有素材记录了计价逐笔复算一致、离线构建与回滚演练。此页为实现结构说明,不新增吞吐量、可用性或长期稳定性承诺;实际价格与生产配置不在公开页提供。