Nginx 连接数耗尽：worker_connections、文件句柄与上游连接排查 当 Nginx 出现连接数耗尽，用户可能看到连接超时、502/504，错误日志中出现 worker_connections are not enough 或 Too many open files。扩大参数只能暂时缓解，必须区分客户端连接、上游连接、长连接和操作系统限制。 一、确认故障现象 date 2026-08-09 11 0
Linux 文件系统突然变成只读：I/O 错误、文件系统损坏与恢复步骤 生产服务器出现 Read-only file system 时，应用会无法写日志、数据库无法落盘、容器创建失败。Linux 把文件系统重新挂载为只读，往往是在保护数据，不能直接把它当成普通权限问题。 一、先确认影响范围 记录故障时间、受影响挂载点和最先报错的服务，不要立即重启。 date uptim 2026-08-09 21 0
Kafka 消费积压与 Consumer Lag：定位瓶颈、应急扩容和长期治理 Kafka Consumer Lag 持续上升，说明消息写入速度超过消费处理能力，或消费者已经异常停止。积压本身不是根因，排查时必须同时观察生产速率、消费速率、消费者状态和下游依赖。 一、确认积压范围 kafka-consumer-groups.sh --bootstrap-server kafka 2026-08-08 11 0
Elasticsearch 集群状态变红：未分配分片、磁盘水位与恢复方法 Elasticsearch 集群变为 RED，表示至少一个主分片不可用。此时部分索引可能无法读取或写入，必须优先保护现场并确认数据副本，不能一看到 RED 就删除索引或强制分配分片。 一、快速判断影响 curl -s http://127.0.0.1:9200/_cluster/health?pre 2026-08-08 8 0
Docker 宿主机磁盘占满：镜像、容器日志与 OverlayFS 排查 Docker 宿主机磁盘占满后，可能出现容器无法启动、镜像拉取失败、应用无法写日志，甚至 Docker 服务异常。处理这类故障的关键是先找到空间真正被谁占用，再做可控清理。 一、确认磁盘和 inode df -hT df -ih docker system df -v 容量还有空间但仍提示 No s 2026-08-08 10 0
DNS 解析正常但网站仍然打不开：从 TCP、TLS 到代理链路的排查流程 ping 能看到 IP，nslookup 也能返回结果，并不代表网站一定可以访问。DNS 只是访问链路的第一步，后面还包括路由、端口、TLS、反向代理、上游服务和安全策略。 一、先明确“打不开”的具体表现 域名解析失败：通常停在 DNS 阶段。 连接超时：常见于路由、安全组、防火墙或端口未监听。 连 2026-08-08 8 0
一次 HTTPS 证书过期导致业务中断：排查、恢复与自动续期治理 HTTPS 证书故障看起来简单，但在 CDN、负载均衡、Ingress 和源站并存的架构里，真正过期的证书不一定在你最先检查的位置。本文整理一套可以直接用于生产环境的排查和治理方法。 一、典型现象 浏览器提示“连接不安全”或 NET::ERR_CERT_DATE_INVALID。 API 客户端、W 网络与安全 2026-08-08 13 0
Prometheus 磁盘占满：TSDB、基数爆炸与数据保留治理 Prometheus 磁盘占满会导致抓取失败、查询异常甚至进程退出。根因可能是保留时间过长、监控目标增加、标签基数爆炸、WAL 异常或磁盘容量规划不足。 一、确认磁盘与目录 df -hT du -sh /prometheus/* | sort -h du -sh /prometheus/wal /p 监控与日志 2026-08-08 9 0
Redis 内存暴涨：BigKey、过期策略与内存碎片排查 Redis 内存突然增长可能来自数据量增加、BigKey、过期失效、客户端缓冲区、复制积压或内存碎片。贸然执行全量扫描或大 Key 删除，可能阻塞单线程并扩大故障。 一、确认内存构成 redis-cli INFO memory redis-cli INFO stats redis-cli INFO 2026-08-08 6 0
MySQL 连接数耗尽：Too many connections 的应急处理与根因分析 Too many connections 表示数据库无法接受新连接。直接提高 max_connections 可能暂时恢复，却会增加内存和并发压力，甚至把连接问题升级为数据库雪崩。 一、确认连接现状 SHOW GLOBAL STATUS LIKE 'Threads_connected'; SHOW 数据库与中间件 2026-08-08 6 0
