Skip to content

Turn any idea, plan, or codebase into a beautiful interactive diagram. An agent skill for Claude Code, Codex, and more.

3.6 KB
Raw Blame

P99 从 80 ms 涨到 600 ms,平均值几乎没变:少数请求变慢了 {#p99-tail}

P99 飙升、平均值不动,意思是最慢的 1%–2% 请求从 80 ms 恶化到 600 ms,其余请求基本正常。最常见原因是排队争用、个别实例或下游变慢、少数请求走了慢路径。排查从慢请求的 trace 开始,不是从全局指标开始。

  • 平均值对尾部不敏感:15/1000 个请求涨到 600 ms,平均值只涨约 8 ms。
  • 尾部恶化几乎总是某一部分请求出问题,不是接口整体变慢。
  • 顺序原则:先定位慢在哪一段,再按维度切分,最后对照变更和资源。

@answer scope="数值为示意 · 假设常见 Web/微服务接口 · P99 按第 990/1000 个值计" @meta locale=zh-CN

为什么平均值没动? {#why-mean-flat}

xychart-beta
  x-axis ["平均值", "P50", "P99"]
  y-axis "ms" 0 --> 700
  bar "之前" [80, 80, 80]
  bar "之后" [88, 80, 600]

985 个请求 80 ms 加 15 个请求 600 ms:平均值 (985×80 + 15×600) / 1000 = 87.8 ms,只多 7.8 ms;P99 取第 990 个值,正好落在 15 个慢请求里,于是跳到 600 ms。平均值掩盖尾部问题,这正是要监控 P95/P99 的原因。

按什么顺序排查 {#triage-order}

@workflow id=p99-triage title="排查顺序:先定位,再切分" | lane locate | 先定位 | | lane split | 再切分 | | lane fix | 后对照 | | confirm | 确认指标口径 | external | locate | | trace | 抽样慢请求 trace | backend | locate | | dim | 按实例/下游/参数切分 | backend | split | | change | 对照发布与配置变更 | backend | fix | | res | 检查资源争用 | backend | fix | | confirm > trace | 现象属实 | | trace > dim | 慢在哪段 | | dim > change | 集中到某维度 | | change > res | 无变更则查资源 |

@steps id=triage-steps | s1 | 确认指标口径 | 看 P50/P95 是否也涨,排除聚合或采样方式变化。 | p99-triage | confirm | | s2 | 抽样慢请求 trace | 抓至少 10 条 ≥500 ms 的 trace,看时间花在排队、下游还是自身处理。 | p99-triage | trace | | s3 | 按实例/下游/参数切分 | 慢请求集中在某个实例、某个下游,还是共享某个参数。 | p99-triage | dim | | s4 | 对照发布与配置变更 | 尖刺起点对齐 deploy、配置、feature flag、依赖升级。 | p99-triage | change | | s5 | 检查资源争用 | 看连接池等待、线程池队列、GC 暂停、CPU 限流、锁竞争。 | p99-triage | res |

最可能的原因 {#causes}

候选原因 典型迹象 怎么确认
排队与资源争用 trace 里等待占大头,延迟随负载波动 看连接池、线程池等待时间与队列深度 {caution:最常见}
单个坏实例 慢请求集中在一两个节点 按实例切 P99,找离群节点
下游尾部变慢 慢 trace 中下游 span 占八成以上 查慢查询、锁等待、缓存命中率
慢路径或异常参数 慢请求共享某参数、某用户或大请求体 对慢样本做特征聚类
GC 或运行时暂停 周期性尖刺,与 GC 日志时间重合 对比 STW 时长与尖刺时刻
重试放大 下游偶发超时引发重试 看下游 QPS 是否同比放大

动手清单 {#checklist}

  • 拉最近 1 小时 ≥500 ms 的 trace,至少 10 条
  • 按实例、下游、接口参数切分慢请求分布
  • 尖刺起点对照部署、配置、flag 变更时间线
  • 检查连接池/线程池等待、GC 暂停、CPU 限流指标
  • 确认 P50/P95 走势,区分尾部恶化与口径变化