08-08

监控与日志

Prometheus 磁盘占满：TSDB、基数爆炸与数据保留治理

Prometheus 磁盘占满会导致抓取失败、查询异常甚至进程退出。根因可能是保留时间过长、监控目标增加、标签基数爆炸、WAL 异常或磁盘容量规划不足。 一、确认磁盘与目录 df -hT du -sh /prometheus/* | sort -h du -sh /prometheus/wal /p

16

0

0

08-08

Redis 内存暴涨：BigKey、过期策略与内存碎片排查

Redis 内存突然增长可能来自数据量增加、BigKey、过期失效、客户端缓冲区、复制积压或内存碎片。贸然执行全量扫描或大 Key 删除，可能阻塞单线程并扩大故障。 一、确认内存构成 redis-cli INFO memory redis-cli INFO stats redis-cli INFO

8

0

0

08-08

数据库与中间件

MySQL 连接数耗尽：Too many connections 的应急处理与根因分析

Too many connections 表示数据库无法接受新连接。直接提高 max_connections 可能暂时恢复，却会增加内存和并发压力，甚至把连接问题升级为数据库雪崩。 一、确认连接现状 SHOW GLOBAL STATUS LIKE 'Threads_connected'; SHOW

10

0

0

08-08

容器与云原生

Kubernetes 节点 NotReady：从 Kubelet、网络到资源压力的排查清单

节点 NotReady 会导致 Pod 驱逐、流量下降和调度失败。先判断是单节点故障还是控制面、网络或基础设施的整体问题，再决定排障、隔离或替换节点。 一、从控制面观察 kubectl get nodes -o wide kubectl describe node <NODE> kubectl ge

9

0

0

08-08

容器与云原生

Kubernetes Pod 频繁重启与 CrashLoopBackOff：完整排查流程

Pod 进入 CrashLoopBackOff，表示容器启动后反复退出，Kubelet 正在逐步延长重启间隔。它不是根因，而是结果。排查必须先确认退出原因，再判断是应用、配置、探针、资源还是节点问题。 一、保存现场 kubectl get pod -n <NS> -o wide kubectl de

12

0

0

08-08

网络与安全

Nginx 大量 502、504：从网关日志到上游服务的完整排查方法

502 和 504 都表示请求经过了 Nginx，但代理链路没有正常完成。502 通常是上游连接失败、连接被重置或返回无效响应；504 通常是连接或读取上游响应超时。不要一开始就盲目增大超时时间，它可能掩盖真正的性能问题。 一、先确认范围和时间线 所有接口还是少数 URI； 所有实例还是单个上游；

9

0

0

08-08

Linux 与系统运维

SSH 突然无法连接：从网络、端口、服务到密钥认证的系统排查

SSH 无法连接必须先按故障阶段分类：域名解析、路由、TCP 端口、SSH 握手、认证、登录后会话。把所有问题都归因于“密钥权限”或“代理”会浪费大量时间。本文给出客户端与服务端两侧都可执行的系统排查流程。 一、先读懂错误信息 Connection timed out：通常是路由、安全组、防火墙、N

13

0

0

08-08

Linux 与系统运维

Linux 服务器频繁 OOM：从现场证据、内存泄漏到容量治理

OOM（Out Of Memory）不是一句“内存不够”就能解释的故障。它可能发生在整机、容器 cgroup、systemd 单元或应用自身堆内存中；同一台机器甚至可能还有大量可用内存，但某个受限容器已经被杀。本文提供从证据保全、范围判断、泄漏定位到容量治理的完整流程。 一、先确认是哪一层 OOM

10

0

0

08-08

Linux 与系统运维

磁盘还有空间却提示 No space left on device：inode、删除未释放与配额排查

“No space left on device” 不只代表磁盘字节用完。inode 耗尽、文件删除后仍被进程占用、用户配额、容器可写层、预留块、tmpfs 或挂载点异常，都可能产生同样报错。下面给出一套先定位对象、再安全释放、最后验证防复发的流程。 一、先确认报错对象和业务影响 记录报错时间、应用

10

0

0

08-08

Linux 与系统运维

Linux 服务器负载突然升高：从现象、定位到止血的完整排查流程

生产环境收到 Load Average 或 CPU 告警时，最忌讳一上来就重启。负载升高不等于 CPU 一定打满：CPU 运行队列、不可中断 I/O、锁等待、内存回收和虚拟机偷取时间都可能推高负载。本文给出一套可直接照着执行的排查、止血、验证与复盘流程。 一、先明确目标与安全边界 目标不是把负载数字

9

0

0