CI/CD · DevOps 全栈研发 · 效率研发基建 · 分布式集群调优

效率研发基建 · 底层分布式集群调优

5 年云原生与 DevOps 全栈研发经验,覆盖私有云到公有云、源码到内核。把构建、发布、出口、缓存与可观测做成可复用平台:统一构建缓存把 test / prod 部署压到 80s / 110s(SLA ≤300s);百度云 CCE Kubernetes 1.34 双集群 16/16 节点 Ready;自建 LLM 网关统一路由 DeepSeek / 智谱 GLM / 百度千帆,8 小时单模型消耗 975M token。

在线简历 · https://l1.fit
查看项目 下载 PDF

个人核心优势

三条主线:把研发链路做成可复用平台、把分布式集群调到稳定高效、把 Agent 能力做成可弹性伸缩的生产系统。

效率研发基建 · CI/CD 全栈

统一构建缓存与部署契约:BuildKit registry 远程缓存跨 daemon 复用,test / prod 部署 80s / 110s(SLA ≤300s);分布式增量构建缓存(Bazel / BuildBarn / ccache)在华为 CloudBuild 与现网持续落地。

CI/CD 与 DevOps 全栈研发:GitLab CE / Runner 治理、单 Job 部署契约、Nexus 唯一持久制品源、JuiceFS S3 网关、自研 Go 统一出口,工具链版本由 versions.env 单点锁定。

底层分布式集群调优

独立运维过单集群上千节点的分布式构建集群,以及 bazel 分布式编译集群与 buildkitd 集群:动态扩缩容、按 Mnemonic 路由分组、CAS/Worker 分离与平滑下线,构建资源消耗降低 70%。

百度云 CCE Kubernetes 1.34 双集群治理:10.30.0.0/16 VPC 七子网跨四可用区,buildkitd 专用节点 + 容量 LRU GC,StatefulSet 反亲和 + PDB 零中断蓝绿;源码级经验横跨 K8s 与 OpenStack,覆盖分布式 CSI 快照与克隆、极速快照、COW、dentry / dcache 与内核级 perf / strace 定位。

Agent 弹性计算

Agent 沙盒快照与快速恢复、容器化沙箱、任务编排与并发限流;把批量推理、异步队列、失败重试做成可调度能力。

自建 LLM 网关支撑 Claude Code / Desktop 等 Agent 客户端规模化接入,本人为 DeepSeek 深度用户:8 小时单模型消耗 975.20M token(≈1B),近 7 天累计约 7.8B token。

AI 消耗量

自建 LLM 网关 new-api「模型统计」真实读数(本人日常开发场景)。8 小时窗口内单模型消耗 975.20M token、峰值吞吐 288.7 t/s;近 7 天 8 个(渠道, 模型)组合合计约 7.8B token。

975.20M单模型 8h Token(deepseek-v4.1-flash-exp)
288.7 t/s8h 峰值吞吐
97.9%8h 缓存命中率(DeepSeek 渠道)
≈7.8B近 7 天总 Token(截图 8 行合计)
new-api 模型统计页面,周期 8h:deepseek-v4.1-flash-exp 975.20M token、288.7 t/s、缓存命中率 97.9%;glm-5.3-flash(baidu)246.36M;glm-5.3-flash(zai)15.11M 等
周期 8h:deepseek-v4.1-flash-exp 975.20M token / 288.7 t/s / 缓存命中率 97.9%;deepseek-v4-pro 3.47M(97.8%);glm-5.3-flash(baidu)246.36M(74.1%);glm-5.3-flash(zai)15.11M(60.1%);7 行合计约 1.24B token。
new-api 模型统计页面,周期 7d:glm-5.3-flash(baidu)3.35B token、deepseek-v4-pro 1.53B、deepseek-v4-flash-vision 1.39B、deepseek-v4.1-flash-exp 913.93M 等 8 行
周期 7d:glm-5.3-flash(baidu)3.35B token;deepseek-v4-pro 1.53B(缓存命中 96.7%);deepseek-v4-flash-vision 1.39B(97.0%);deepseek-v4.1-flash-exp 913.93M(97.4%);glm-5.3-flash(zai)615.72M;8 行合计约 7.8B token。

有意思的事

不一定进 KPI,但能说明动手深度与排查上限的三件事。

从 0 debug 内核启动

在没有可用串口与系统日志的条件下,从引导链一路定位到内核启动失败的根因。

这类问题没有现成答案,靠的是对启动流程、内存布局与硬件初始化顺序的完整理解。

为 NFS CSI Driver 增加快照与克隆

在 NFS CSI 驱动上补齐 VolumeSnapshot 与卷克隆能力,把原本缺失的存储特性接进 K8s 存储链路。

涉及 CSI 接口契约、external-snapshotter 协作与底层卷语义的一致性设计。

飞书外接 Claude SDK Agent 服务

打通研发业务读取与服务路径,把 Agent 直接接进研发日常:24 小时高准度定位疑难问题。

实际承担 500+ 车企研发大群的 oncall 答疑,让「群里问一句」就能拿到可执行的定位结论。

工程认知

驱动我做基建的三条判断:速度是效率、路径在前进中展开、向最强的工程组织学习。

构建速度即产品迭代速度

软件构建速度会直接影响产品迭代效率:编译与 CI 的每一秒,都会乘以团队人数和每天的提交次数,放大成产品的迭代节奏。

所以我把它当成可量化的工程指标来做——统一构建缓存、增量构建、部署契约与 SLA 门禁,而不是「差不多能跑就行」。

车灯效应

车灯只能照亮前方一小段路,但靠这一小段就能一直开下去。工程系统也一样:不必等看清全貌再动手,先把眼前这段照亮、走稳,路径会在推进中自己展开。

落到方法上就是小步验证、快速回读、持续收敛——每一次变更都可观测、可回滚、可对账。

向超大仓工程致敬

长期关注每天 5,000+ PR 的 monorepo 工程实践:统一构建、增量缓存、原子提交与可回滚发布,是超大规模团队把迭代速度守住的关键。

这条思路已经落到我的日常里:GitLab 站点调优(首屏热门请求 458.79K→909.14、P95 1.82s→469.50ms)与单 Job 部署契约。

核心成果

重点不是「会调用模型」,而是把构建、发布、出口、缓存、观测与 Agent 做成可治理、可复用、能承载企业级研发流程的生产系统。

统一构建缓存与镜像体系

BuildKit registry 远程缓存跨 daemon 复用(空节点 export 后另一 daemon 免密 import 全层 CACHED);test / prod deploy job 实测 80s / 110s,单组件缓存约 381 MiB。

统一出口与三级缓存

Nexus 作唯一持久制品源(proxy store 抽样 6,213 blob / 1.55 GB),JuiceFS S3 网关压测单文件 716 MB/s、双文件 1.325 GB/s;自研 Go 出口数据面 + nftables 透明拦截 13 条路由。

自建 LLM 网关(三协议 · 三渠道)

同一入口暴露 OpenAI Chat / Responses / Anthropic 三协议,统一路由 DeepSeek、智谱 GLM、百度千帆,Claude 别名链式映射;百度渠道单日 6,486 请求 / 7.63 亿输入 token。

LLM 缓存失效定位

三家上游 × 两协议 × 每组 5 轮对照:去首轮加权命中率百度 24.999% vs zai 99.996% vs DeepSeek 99.675%;定位到动态预算提醒 + 尾部缓存断点,网关侧修复后旧客户端由 0% 恢复至 99.7%。

可观测与告警栈

自建 Grafana 13.1.3(28 个看板 / 285 个面板)、Prometheus 3.13.2(41 个 scrape job、69 条告警 + 57 条 recording 规则)、Loki 日志;告警经 Go webhook 机器人落飞书群。

数据采集平台

管理 8 台采集节点、每台 10 路并发,If-None-Match:* 幂等 + 64MiB 分片断点续传;Go 482 项测试 + race 437 项 + E2E 全绿,8/8 台对象 HEAD 200 且长度逐字节相等。

工作经历

从云原生基础设施、分布式构建与存储,到企业级 AI 工程化平台,长期在工程系统的关键路径上做降本增效。

某具身智能企业 2026.08 - 至今 AI 工程化平台 / 效率研发基建负责人

统一构建缓存 · 统一出口 · LLM 网关 · 可观测 · 数据采集

  • 建设统一构建缓存与镜像体系:BuildKit registry 远程缓存跨 daemon 复用,test / prod 部署耗时 80s / 110s(SLA ≤300s),单组件缓存约 381 MiB;工具链版本由 versions.env 单点锁定。
  • 设计三级统一缓存与统一出口:Nexus 作唯一持久制品源,JuiceFS S3 网关压测单文件 716 MB/s、双文件 1.325 GB/s;自研 Go 出口数据面 + nftables 透明拦截 13 条路由,Squid 五入口收敛为三端口。
  • 治理百度云 CCE Kubernetes 1.34 双集群:ci-01 16/16 节点 Ready,10.30.0.0/16 VPC 七子网跨四可用区;buildkitd 专用节点 + 300Gi xfs 缓存盘按容量 LRU GC。
  • 自建 LLM 网关(new-api 定制 fork):同一入口暴露 OpenAI Chat / Responses / Anthropic 三协议,统一路由 DeepSeek / 智谱 GLM / 百度千帆,Claude 别名链式映射;百度渠道单日 6,486 请求 / 7.63 亿输入 token。
  • 落地计费与账号治理:billing_mode=tiered_expr 工作日高峰分时计价(DeepSeek 16/16 模型回读生效),Logto OIDC(PKCE S256 + JWKS)与 Passkey 登录;HA 迁移 600 秒探针 513/513 成功、零中断。
  • 定位并修复 LLM 缓存失效:三家上游 × 两协议 × 每组 5 轮对照,去首轮加权命中率百度 24.999% vs zai 99.996% vs DeepSeek 99.675%;定位到动态预算提醒 system 消息 + 尾部缓存断点,修复后旧客户端由 0% 恢复至 99.7%。
  • 建设可观测与告警栈(Grafana / Prometheus / Loki / Alloy + 飞书告警)与数据采集平台(8 台节点、每台 10 路并发、幂等分片上传、Ed25519 签名自升级)。
某头部智能驾驶企业 2025.04 - 2026.08 AI Agent DevOps 平台负责人

Agent 调度平台 · 分布式编译 · 批量推理 · 弹性伸缩

  • 独立搭建 Agent 云平台,接入企业飞书群聊机器人,支持不同群 / 机器人绑定独立 Prompt Template、Skills/MCP、工具权限与任务模板。
  • 设计 Agent Task 编排与调度能力,覆盖 Cron 定时触发、批量化推理、在线交互、异步队列、失败重试、并发限流与容器化沙箱。
  • 研发并调优大规模分布式编译集群,基于负载动态扩缩容与任务路由降低 70% 构建资源消耗;落地 CAS/Worker 分离、按 Mnemonic 路由分组与平滑下线机制。
  • 打通飞书外接 Claude SDK Agent 服务:连通研发业务读取与服务路径,24 小时高准度定位疑难研发问题,承担 500+ 车企研发大群 oncall 答疑。
  • 日常单人运维上千台分布式构建集群,并对集群调度框架进行二次开发、定制优化和稳定性治理。
  • 建设 Skills/MCP 分层管理和插件市场,用户可创建 Task Template 并导入共享配置,降低 Agent 工作流复制、治理和升级成本。
  • 为企业持续提交数百笔性能优化、依赖裁剪与工程治理 MR,覆盖构建耗时、镜像体积、运行依赖、CI 稳定性与代码质量门禁。
九维数智(北京)科技有限公司 2024.02 - 2025.04 云原生研发工程师

分布式 CSI 存储 · 快照与 COW · CI/CD · 研发流程治理

  • 为 NFS CSI Driver 增加快照(VolumeSnapshot)与卷克隆特性,负责 K8s CSI 驱动与 Operator 二次开发,保障存储层高可用和自动化运维能力。
  • 参与分布式 CSI 存储链路优化:极速快照、COW 写时复制与 dentry / dcache 目录遍历路径优化,降低快照与元数据操作时延。
  • 建设 LDAP 成员管理与 Code Review 审核服务,完善权限精细化管控和研发流程治理。
  • 构建 CI/CD 平台,整合 Gerrit、Jenkins、BuildKitd、Bazel 与 Harbor,支撑镜像构建、制品发布和流水线门禁。
  • 带领 10+ 人研发团队推进研发流程标准化,提升项目交付效率与平台稳定性。
自由职业 2023.01 - 2024.02 独立开发者

抖音 / 微信小程序开发

  • 独立设计并开发抖音、微信小程序,负责需求分析、前后端开发、上线运营与迭代维护。
华为云计算技术有限公司 2022.03 - 2022.12 分布式构建系统研发

CloudBuild · Bazel · BuildBarn

  • 参与 CloudBuild 分布式编译系统研发,基于 Bazel、BuildBarn、ccache 落地分布式增量构建缓存,优化 CMake / Maven 等构建链路。
  • 与欧洲团队协作参与 justbuild 开源项目;绩效优秀,晋升 1 级,获评“最强软件新生”。
武汉泽塔云科技股份有限公司 2021.09 - 2022.03 云计算研发工程师

OpenStack 私有云 · SPICE 虚拟桌面

  • 参与 OpenStack 私有云平台二次开发与运维,支撑私有云基础设施建设、交付和问题排查。
  • 参与 SPICE 虚拟桌面研发;从 0 debug 内核启动问题,具备内核级问题定位能力(strace、perf、overlayfs 与容器根文件系统构建)。

核心项目

项目选择聚焦「能把复杂工程系统跑起来并长期变好」的能力。

统一构建缓存与镜像构建体系

BuildKit 0.30.0 · GitLab CI · CCR registry cache · cache mount

2026-08-25 全链路验证通过并上线 prod:空节点 export 后另一 daemon 免密 import 全层 CACHED,实现跨 daemon 构建缓存复用。

test / prod deploy job 实测 80s / 110s(SLA ≤300s),单组件单 tag 缓存约 381 MiB;工具链版本由 versions.env 单点锁定。

分布式增量构建缓存

Bazel · BuildBarn · ccache · BuildKit registry cache

华为 CloudBuild 时期基于 Bazel / BuildBarn / ccache 做分布式增量构建缓存,优化 CMake / Maven 构建链路;现网延续同一思路做 BuildKit registry 远程缓存跨 daemon 复用。

两条链路共同点:把「哪些产物可以复用」判断清楚,再把缓存做成可跨节点、可回读、可回滚的一等公民。

统一出口与三级缓存架构

Go stdlib · nftables · Squid 三端口 · Nexus · JuiceFS CE 1.3.0

自研 Go 统一出口数据面承载 4 个代理口与 13 条透明出口路由;出口由 Squid 五入口重设计为三端口,3129/3127 退役。

Nexus 作唯一持久制品源(proxy store 抽样 6,213 blob / 1.55 GB),JuiceFS S3 网关压测单文件 716 MB/s、双文件 1.325 GB/s。

自建 LLM 网关(new-api 定制 fork)

Go · React 19 · PostgreSQL · tiered_expr · Logto OIDC + Passkey

同一入口暴露 OpenAI Chat / Responses / Anthropic 三协议,统一路由 DeepSeek、智谱 GLM、百度千帆,支持 Claude 别名链式映射。

百度渠道单日承载 6,486 请求 / 7.63 亿输入 token;HA 迁移 600 秒探针 513/513 成功零中断,常规蓝绿切换零 502/503/504。

LLM 缓存失效定位与供应商级排查

固定 IP 直连 · body SHA256 比对 · token 加权口径 · 双协议矩阵

三家上游 × 两协议 × 每组 5 轮对照:百度去首轮加权 24.999%(OpenAI)/ 24.949%(Anthropic),对比 zai 99.996% / 99.797%、DeepSeek 99.675% / 99.824%。

定位根因(动态预算提醒 system 消息 + 尾部缓存断点)并在网关侧修复,修复后旧客户端由 0% 恢复为 0 / 99.72 / 99.35 / 99.97%,真实 Desktop 会话实测命中 99.627%。

可观测与告警栈

Prometheus 3.13.2 · Grafana 13.1.3 · Loki 3.7.6 · Alloy · 飞书告警

28 个看板 / 285 个面板、41 个 scrape job、69 条告警 + 57 条 recording 规则,看板目录由脚本推送、变更零重启。

告警经 Go webhook 机器人落飞书群「sre告警」,critical 抑制同维度 warning,每日 02:00 投递统一巡检卡片。

数据采集平台(bot-gateway-collection)

Go agent · BOS S3 分片上传 · Ed25519 自升级 · Kubernetes

管理 8 台采集节点、每台 10 路并发,上传以 If-None-Match:* 保证幂等,≥64MiB 文件按 64MiB 分片断点续传。

验收覆盖 Go 482 项测试 + race 437 项 + PW E2E 18/18 + API E2E 8/8;8/8 台对象 BOS HEAD 200 且长度与任务 sizeBytes 逐字节相等。

云原生双集群 IaC(sreiac)

Terraform · CCE Kubernetes 1.34 · VPC-ENI · CDS CSI · scripts/iac

10.30.0.0/16 VPC 内 7 个 /24 子网跨 4 可用区,ci-01 集群 16/16 节点 Ready,BuildKit 缓存 PVC 200Gi Bound/Retain。

iac diff 作为 repo↔live 零差异的全局底线,盘点并归组 115 项 unassigned 云资源(BCC 21 / CDS 66 / EIP 6 / AppBLB 23 / BOS 8)。

GitLab CI/CD 平台与 Runner 治理

GitLab CE · GitLab Runner · BuildKitd · 单 Job 部署契约 · 质量门禁

单仓 409 行 / 17 个 job 流水线,deploy 契约在单 Job 内完成 validate→build→publish→deploy→verify→cleanup。

Deploy Runner 收敛为单一 #3(并发 5)并下线 #1,跨环境无状态复用释放 2 台 BCC;GitLab 监控首屏热门请求 458.79K→909.14、P95 1.82s→469.50ms。

专业技能

横跨效率研发基建、分布式集群调优、AI 工程化平台与可观测性工具链。

编程语言Go(主力,标准库优先) · Python · TypeScript / React 19 · Shell · C
CI/CD 与 DevOpsGitLab CE / Runner · 单 Job 部署契约(validate→build→publish→deploy→verify→cleanup) · 灰度与回滚 · 质量门禁 · 自动化工具建设
系统与内核strace / perf 跨层定位 · overlayfs 与容器根文件系统 · dentry / dcache 路径优化 · COW 写时复制 · 内核级问题排查
构建与打包分发BuildKit / BuildKitd 0.30.0 · registry 远程缓存 · 分布式增量构建缓存(Bazel / BuildBarn / ccache) · Dockerfile 分层与 cache mount · 镜像归档与不可变 tag · versions.env 版本钉死
容器与编排Kubernetes 1.34(CCE 双集群) · StatefulSet / 反亲和 / PDB · 蓝绿双槽与 preStop 优雅排空 · nftables 透明 REDIRECT · Helm / Kustomize
存储与快照分布式 CSI · CDS CSI · 极速快照 · COW 写时复制 · dentry / dcache 优化 · JuiceFS · CDS CSI StorageClass 调优
云基础设施百度云 BCC / CCE / BOS / CDS / CCR / AppBLB / EIP · Terraform · 10.30.0.0/16 VPC 七子网 · 阿里云 ECS + acme.sh DNS-01
缓存与制品Nexus 2-0(工具原生 mirror,唯一持久制品源) · Squid / go-proxy 三端口出口 · JuiceFS CE 1.3.0 S3 网关 · 15 字段访问日志
可观测性Prometheus 3.13.2 · Grafana 13.1.3 · Loki 3.7.6 · Alloy · Alertmanager · blackbox · 自研 Go exporter · 飞书告警卡片
AI / LLMnew-api 定制 fork · 三协议(OpenAI Chat / Responses / Anthropic) · DeepSeek / 智谱 GLM / 百度千帆多模型路由 · Claude 别名链式映射 · tiered_expr 分时计价 · LLM 缓存命中诊断
Agent 平台Agent 沙盒快照与快速恢复 · 容器化沙箱 · Skills/MCP 与 Prompt Template · 飞书群聊机器人 · Claude Code / Desktop / OpenCode
安全与凭据Logto OIDC(PKCE S256 + JWKS) · Passkey / WebAuthn · AES-GCM state.enc · Ed25519 签名自升级 · mTLS 内网域名