Redis 延迟突然升高：慢命令、BigKey、阻塞与系统抖动排查 Redis 平时响应在毫秒以内，生产环境突然延迟升高时，可能是慢命令、BigKey、持久化、内存回收、网络或宿主机抖动。重启虽然可能暂时恢复，但会丢失最有价值的现场证据。 一、确认影响和延迟位置 先区分是客户端到 Redis 的网络延迟，还是 Redis 服务端处理变慢： redis-cli -h 2026-08-09 8 0
MySQL 主从延迟持续升高：定位 SQL、I/O、锁与并行复制瓶颈 MySQL 复制延迟会造成读写不一致、报表数据滞后，严重时影响故障切换。Seconds_Behind_Master 只是表象，必须判断延迟发生在接收 binlog、写 relay log，还是应用 relay log 的阶段。 一、先确认复制拓扑与影响 记录主库、从库、复制通道、业务读流量和故障开始 2026-08-09 14 0
Kubernetes Pod 出现 ImagePullBackOff：镜像、认证、DNS 与运行时排查 ImagePullBackOff 表示节点拉取镜像失败并进入退避重试。问题可能来自镜像名称、仓库认证、节点 DNS、网络、证书、限流或容器运行时。排查应以事件中的原始错误为入口。 一、确认具体 Pod 与事件 kubectl get pod -A | grep -E 'ImagePullBackOf 2026-08-09 12 0
Nginx 连接数耗尽：worker_connections、文件句柄与上游连接排查 当 Nginx 出现连接数耗尽，用户可能看到连接超时、502/504，错误日志中出现 worker_connections are not enough 或 Too many open files。扩大参数只能暂时缓解，必须区分客户端连接、上游连接、长连接和操作系统限制。 一、确认故障现象 date 2026-08-09 14 0
Linux 文件系统突然变成只读：I/O 错误、文件系统损坏与恢复步骤 生产服务器出现 Read-only file system 时，应用会无法写日志、数据库无法落盘、容器创建失败。Linux 把文件系统重新挂载为只读，往往是在保护数据，不能直接把它当成普通权限问题。 一、先确认影响范围 记录故障时间、受影响挂载点和最先报错的服务，不要立即重启。 date uptim 2026-08-09 53 0
Kafka 消费积压与 Consumer Lag：定位瓶颈、应急扩容和长期治理 Kafka Consumer Lag 持续上升，说明消息写入速度超过消费处理能力，或消费者已经异常停止。积压本身不是根因，排查时必须同时观察生产速率、消费速率、消费者状态和下游依赖。 一、确认积压范围 kafka-consumer-groups.sh --bootstrap-server kafka 2026-08-08 14 0
Elasticsearch 集群状态变红：未分配分片、磁盘水位与恢复方法 Elasticsearch 集群变为 RED，表示至少一个主分片不可用。此时部分索引可能无法读取或写入，必须优先保护现场并确认数据副本，不能一看到 RED 就删除索引或强制分配分片。 一、快速判断影响 curl -s http://127.0.0.1:9200/_cluster/health?pre 2026-08-08 10 0
Docker 宿主机磁盘占满：镜像、容器日志与 OverlayFS 排查 Docker 宿主机磁盘占满后，可能出现容器无法启动、镜像拉取失败、应用无法写日志，甚至 Docker 服务异常。处理这类故障的关键是先找到空间真正被谁占用，再做可控清理。 一、确认磁盘和 inode df -hT df -ih docker system df -v 容量还有空间但仍提示 No s 2026-08-08 13 0
DNS 解析正常但网站仍然打不开：从 TCP、TLS 到代理链路的排查流程 ping 能看到 IP，nslookup 也能返回结果，并不代表网站一定可以访问。DNS 只是访问链路的第一步，后面还包括路由、端口、TLS、反向代理、上游服务和安全策略。 一、先明确“打不开”的具体表现 域名解析失败：通常停在 DNS 阶段。 连接超时：常见于路由、安全组、防火墙或端口未监听。 连 2026-08-08 10 0
一次 HTTPS 证书过期导致业务中断：排查、恢复与自动续期治理 HTTPS 证书故障看起来简单，但在 CDN、负载均衡、Ingress 和源站并存的架构里，真正过期的证书不一定在你最先检查的位置。本文整理一套可以直接用于生产环境的排查和治理方法。 一、典型现象 浏览器提示“连接不安全”或 NET::ERR_CERT_DATE_INVALID。 API 客户端、W 网络与安全 2026-08-08 16 0
