PROJECT / 工程实践
LLM 缓存失效定位与供应商级排查
用固定请求、协议对照和加权口径，将缓存异常拆成可复现问题。
项目目标
网关统计发现某渠道缓存命中偏低，但统计差异本身不能证明故障来源。排查同时覆盖客户端、网关和上游：一方面通过直连源站复现概率性缓存归零，另一方面检查网关对消息与缓存断点的处理，避免把两个独立成因混为一个结论。
组件与架构
对照使用固定 IP 直连、请求体 SHA256、逐请求链路检查，以及 OpenAI、Anthropic 双协议矩阵。命中率按缓存读取 token 除以输入总量加权计算，去掉首轮冷启动后比较；不是对每笔百分比做简单平均。
关键流程
先剥离代理环境并直连源站，核对实际目标和请求体；再按渠道与协议重复请求，观察高命中后是否突然归零。网关侧另行定位动态预算提醒 system 消息与尾部缓存断点的影响，修复后用旧客户端和真实 Desktop 会话验证。
工程取舍
直连复现只能支持该条件下上游侧存在异常，不能推导长期 SLA。网关修复也不能消除所有上游抖动。因此保留样本、日期、请求条件和两类问题的边界，让供应商能够复现，也让修复效果可单独判断。
成果与证据口径
2026-09 留档中，去首轮四次加权值为百度 OpenAI 24.999%、zai 99.996%、DeepSeek 99.675%；旧客户端修复后的实际命中率由25%恢复至95%。网关层 Claude 系统提示词中的缓存标记频繁变更，导致缓存前缀无法稳定复用。前述上游对照值为历史小样本，非当前性能排名。2026-09-08 追加历史复现仍观察到概率性归零，体现两类问题需要分别验证。