LLM Gateway · Skills 市场 · Feishu Agent

AI 工程化平台 · 云原生 SRE

6 年云原生与 DevOps 经验,独立搭建企业级 AI 工程化平台:自托管 LLM 网关、Agent Skills 市场、飞书 Agent 机器人与成本可观测,让 AI 能力在研发与运维中规模化落地。

查看项目 下载 PDF

个人核心优势

聚焦 LLM 网关缓存、性能观测与 Agent 沙盒治理三个方向,沉淀可复用的工程经验。

LLM 网关缓存优化

自建 LLM 网关,支撑日均 20B Token;在网关层、大文件附件与重排序等环节落地 cache hit 优化,降低上游成本与首 Token 延迟。

性能观测与分布式调试

具备比特级请求比对与上千节点分布式 Debug 经验;擅长操作系统 cache 观测与 perf 调优,覆盖 K8s 服务分流与 APISIX 网关 TTFT / ITL 观测。

Agent 沙盒与任务编排

实现 Agent 沙盒快照与快速恢复、沙盒行为审计与峰值 / 均值内存监控;基于相似任务聚类编排优化,提升批量推理吞吐与资源利用率。

核心成果

重点不是“会调用模型”,而是把 Agent 做成可治理、可观测、可复用、能承载企业级研发流程的生产系统。

自建 LLM 网关

OpenAI/Anthropic 兼容网关,多模型路由与 Claude 别名映射,分时计价、额度管控与 AutoBan,飞书 OIDC + Passkey 登录。

Agent Skills 市场

上千条 Agent Skills 的注册、检索与安装市场,公开 API,飞书登录,支撑技能沉淀、复用与共享。

飞书 Agent 机器人

桥接 Claude Code → 自建网关,35+ 项目 Skills 与 Prompt Template,实现群聊即 Agent 的多业务线接入。

成本可观测

项目 / 用户分账、高峰期与上下文长度动态计费,采集 DeepSeek 余额与百度云分账账单,Prometheus 指标驱动降本。

云原生 IaC

百度云 CCE K8s 1.34 双集群、Terraform、VPC-ENI、JuiceFS,统一出口与安全组白名单治理。

可观测与告警

Prometheus / Grafana / Loki / Alloy 全栈可观测,Grafana 告警 → 飞书卡片,服务监控与成本大盘。

工作经历

从云原生基础设施、分布式构建,到企业级 AI 工程化平台,长期在工程系统的关键路径上做降本增效。

某具身智能企业 2026.08 - 至今 AI 工程化平台负责人

LLM 网关 · Skills 市场 · 飞书 Agent · 云原生 SRE

  • 独立搭建自托管 LLM 网关(new-api),打通 DeepSeek / GLM 多模型路由与 Claude 兼容别名,落地分时计价、额度管控与 AutoBan。
  • 建设 Agent Skills 市场(skills-hub),沉淀上千条技能,提供公开检索 / 安装 API 与飞书登录,支撑技能复用与治理。
  • 打通飞书 Agent 机器人 → Claude Code → 自建网关链路,35+ 项目 Skills 与 Prompt Template 按需加载,实现群聊即 Agent。
  • 建设成本可观测体系,落地项目 / 用户分账与高峰期、上下文长度动态计费,采集 DeepSeek 余额与百度云分账账单。
  • 负责百度云 CCE Kubernetes 1.34 双集群的 Terraform IaC、VPC-ENI 网络、JuiceFS 存储与统一出口治理。
  • 搭建 Prometheus / Grafana / Loki / Alloy 可观测栈与飞书告警,覆盖服务监控、成本大盘与变更验收。
某头部智能驾驶企业 2025.04 - 2026.08 AI Agent DevOps 平台负责人

Agent 调度平台 · 群聊机器人 · 批量推理 · 分布式编译

  • 独立搭建 Agent 云平台,接入企业飞书群聊机器人,支持不同群 / 机器人绑定独立 Prompt Template、Skills/MCP、工具权限与任务模板。
  • 设计 Agent Task 编排与调度能力,覆盖 Cron 定时触发、批量化推理、在线交互、异步队列、失败重试、并发限流与容器化沙箱。
  • 建设 Skills/MCP 分层管理和插件市场,用户可创建 Task Template 并导入共享配置,降低 Agent 工作流复制、治理和升级成本。
  • 为企业持续提交数百笔性能优化、依赖裁剪与工程治理 MR,覆盖构建耗时、镜像体积、运行依赖、CI 稳定性与代码质量门禁。
  • 日常单人运维上千台分布式构建集群,并对集群调度框架进行二次开发、定制优化和稳定性治理。
  • 研发并调优大规模分布式编译集群,基于负载动态扩缩容与任务路由降低 70% 构建资源消耗。
九维数智(北京)科技有限公司 2024.02 - 2025.04 云原生研发工程师

Kubernetes 存储 · CI/CD · 研发流程治理

  • 负责 K8s CSI 驱动与 Operator 二次开发,保障存储层高可用和自动化运维能力。
  • 建设 LDAP 成员管理与 Code Review 审核服务,完善权限精细化管控和研发流程治理。
  • 构建 CI/CD 平台,整合 Gerrit、Jenkins、BuildKitd、Bazel 与 Harbor,支撑镜像构建、制品发布和流水线门禁。
  • 带领 10+ 人研发团队推进研发流程标准化,提升项目交付效率与平台稳定性。
自由职业 2023.01 - 2024.02 独立开发者

抖音 / 微信小程序开发

  • 独立设计并开发抖音、微信小程序,负责需求分析、前后端开发、上线运营与迭代维护。
华为云计算技术有限公司 2022.03 - 2022.12 分布式构建系统研发

CloudBuild · Bazel · BuildBarn

  • 参与 CloudBuild 分布式编译系统研发,基于 Bazel、BuildBarn、ccache 优化 CMake/Maven 等构建链路。
  • 与欧洲团队协作参与 justbuild 开源项目;绩效优秀,晋升 1 级,获评“最强软件新生”。
武汉泽塔云科技股份有限公司 2021.09 - 2022.03 云计算研发工程师

OpenStack 私有云

  • 参与 OpenStack 二次开发与运维,支撑私有云基础设施建设、交付和问题排查。

核心项目

项目选择聚焦“能把复杂工程系统跑起来并长期变好”的能力。

自建 LLM 网关(new-api)

Go · React · PostgreSQL · DeepSeek · GLM · OIDC

OpenAI/Anthropic 兼容网关,多模型路由与 Claude 别名映射,支撑 Claude Code / Desktop 等客户端接入。

分时计价、额度管控、AutoBan、Passkey 与飞书 OIDC,实现模型用量与成本治理。

Agent Skills 市场(skills-hub)

Next.js · React · PostgreSQL · Logto · Feishu

上千条 Agent Skills 的注册、检索、趋势与安装市场,提供公开 API 与飞书登录。

支撑技能沉淀与跨团队复用,是 Agent 能力治理与分发的统一入口。

飞书 Agent 机器人

Go · cc-connect · Claude CLI · Feishu API

桥接飞书单聊机器人 → Claude Code → 自建网关,35+ 项目 Skills 与 Prompt Template 按需加载。

打通告警、周报、新闻摘要等自动化 Agent 场景,实现群聊即 Agent。

云原生 SRE 平台(sreiac)

Terraform · Kubernetes 1.34 · CCE · Prometheus · Squid

百度云双集群 IaC:VPC-ENI、CDS CSI、JuiceFS、AppBLB 与安全组白名单全量纳管。

统一出口三端口、可观测栈与变更验收,沉淀 35+ 运维 Skill。

分布式编译架构改造

Bazel · BuildBarn · K8s · 阿里云 API

完成手动扩容到动态扩缩容改造,落地 CAS/Worker 分离、按 Mnemonic 路由分组和平滑下线机制。

通过任务路由和负载治理降低 70% 构建资源消耗,支撑上千台分布式构建集群稳定运行。

CI/CD 平台(九维数智)

Gerrit · Jenkins · BuildKitd · Harbor · K8s

整合 Gerrit、Jenkins、BuildKitd、Bazel 与 Harbor,支撑镜像构建、制品发布与流水线门禁。

带领 10+ 人团队推进研发流程标准化与交付效率。

专业技能

横跨 AI 工程化、云原生基础设施与可观测性工具链。

AI / LLMnew-api 网关 · DeepSeek / GLM 多模型路由 · Claude 兼容别名 · Qwen 本地推理(vLLM/SGLang) · 分时计价 · 额度管控
Agent 平台Skills 市场 · SKILL.md / MCP · Prompt Template · 飞书群聊机器人 · Claude Code / Desktop / OpenCode
编程语言Go(主力,标准库优先) · TypeScript / React · Python · Shell · C
容器编排Kubernetes 1.34 · Docker · CCE · VPC-ENI · CDS CSI · Helm · Kustomize
云基础设施百度云 BCC / CCE / BOS / CDS / CCR / AppBLB · Terraform · IaC · 安全组治理
存储网络JuiceFS · Squid 三端口出口 · WireGuard · APISIX · Nginx · 域名 / 备案
可观测性Prometheus · Grafana · Loki · Alloy · Alertmanager · 成本大盘
CI/CDGitLab CE · GitLab Runner · BuildKitd · Bazel / BuildBarn(历史) · 质量门禁