Kubernetes Service 间歇性访问失败：CoreDNS、kube-proxy、CNI 与 MTU 排查 # Kubernetes Service 间歇性访问失败：CoreDNS、kube-proxy、CNI 与 MTU 排查 Service 偶发超时最难排查，因为 Pod 看起来正常，重试又可能成功。建议沿着“域名解析—Service 转发—Pod 网络—宿主机网络—应用监听”逐层缩小范围。 ## 一 容器与云原生 2026-08-09 16 0
MySQL 死锁与锁等待超时：现场取证、应急止血和根因修复 # MySQL 死锁与锁等待超时：现场取证、应急止血和根因修复 生产环境出现接口超时、事务回滚或 Deadlock found 时，不要第一时间重启数据库。重启会清空最重要的现场信息，也可能让问题很快复发。正确顺序是：确认影响、保留证据、找到阻塞链、谨慎止血、修复事务设计。 ## 一、先判断是死锁还 数据库与中间件 2026-08-09 5 0
systemd 服务反复重启：退出码、启动限速与依赖故障排查 服务不断“启动—退出—重启”，既可能造成业务抖动，也可能刷满日志、打爆下游或触发 systemd 启动限速。正确做法是先确认最后一次失败原因，再决定是否继续自动重启。 一、确认服务当前状态 systemctl status <service> --no-pager -l systemctl show 2026-08-09 11 0
nf_conntrack 表满导致丢包：连接跟踪容量、异常流量与治理 Linux 网关、NAT 节点、Kubernetes 节点或防火墙出现 nf_conntrack: table full, dropping packet 时，新连接可能被丢弃，表现为随机超时、DNS 异常、服务偶发不可达。增加表上限只是应急动作，还必须找到连接为什么增长。 一、确认内核是否报告表满 2026-08-09 23 0
Linux 服务器时间漂移：chrony、NTP、虚拟化时钟与安全恢复 服务器时间漂移会导致证书校验失败、日志顺序混乱、分布式锁异常、Kerberos 认证失败，甚至影响数据库复制和集群选举。处理时既要恢复准确时间，也要避免突然跳时给业务造成二次故障。 一、确认系统时间与时区 date -Ins timedatectl status hwclock --show 记录当 2026-08-09 9 0
Linux 僵尸进程不断增加：定位父进程、正确回收与代码修复 僵尸进程是已经退出、但父进程尚未读取其退出状态的子进程。它几乎不占 CPU 和业务内存，但会保留 PID 和少量进程表信息。数量持续增长时，最终可能耗尽 PID 或暴露父进程的回收逻辑缺陷。 一、确认僵尸进程数量 ps -eo stat | awk '$1 ~ /^Z/ {count++} END 2026-08-09 10 0
Linux 负载很高但 CPU 使用率不高：D 状态进程与 I/O 阻塞排查 生产服务器的 load average 持续升高，但 top 中 CPU 仍有大量 idle，这通常不是计算能力不足。Linux 负载包含可运行任务，也会受到不可中断睡眠任务影响；磁盘、NFS、云盘或内核 I/O 路径阻塞时，进程可能进入 D 状态并推高负载。 一、确认负载是否持续异常 date u 2026-08-09 10 0
Redis 延迟突然升高：慢命令、BigKey、阻塞与系统抖动排查 Redis 平时响应在毫秒以内，生产环境突然延迟升高时，可能是慢命令、BigKey、持久化、内存回收、网络或宿主机抖动。重启虽然可能暂时恢复，但会丢失最有价值的现场证据。 一、确认影响和延迟位置 先区分是客户端到 Redis 的网络延迟，还是 Redis 服务端处理变慢： redis-cli -h 2026-08-09 6 0
MySQL 主从延迟持续升高：定位 SQL、I/O、锁与并行复制瓶颈 MySQL 复制延迟会造成读写不一致、报表数据滞后，严重时影响故障切换。Seconds_Behind_Master 只是表象，必须判断延迟发生在接收 binlog、写 relay log，还是应用 relay log 的阶段。 一、先确认复制拓扑与影响 记录主库、从库、复制通道、业务读流量和故障开始 2026-08-09 11 0
Kubernetes Pod 出现 ImagePullBackOff：镜像、认证、DNS 与运行时排查 ImagePullBackOff 表示节点拉取镜像失败并进入退避重试。问题可能来自镜像名称、仓库认证、节点 DNS、网络、证书、限流或容器运行时。排查应以事件中的原始错误为入口。 一、确认具体 Pod 与事件 kubectl get pod -A | grep -E 'ImagePullBackOf 2026-08-09 8 0
