半夜磁盘突然满了?十有八九是容器日志,五步先止血再根治

Disk full 是运维最经典的翻车现场之一。而半夜把磁盘吃满的,十有八九是容器日志。

先止血,再根治。

第一步:确认是不是它

df -h /
du -sh /var/lib/docker/* 2>/dev/null | sort -rh | head -10

如果 containers 那一项特别大,基本可以确定是日志。

第二步:找出具体哪个容器

du -sh /var/lib/docker/containers/*/*-json.log 2>/dev/null | sort -rh | head -10

文件名就是容器 ID。对照一下:

docker ps -q | xargs -I{} sh -c 'echo "{} $(docker inspect --format {{.Name}} {})"'

第三步:先清空,别急着删

不要 rm 日志文件。Docker 持有文件句柄,删了空间也不会释放,得重启容器才行。

: > /var/lib/docker/containers/<容器ID>/<容器ID>-json.log

用 : > 截断文件,句柄不失效,空间立刻释放。

第四步:根治——限制日志大小

两个层面都要设:

① 全局默认(新容器生效),编辑 /etc/docker/daemon.json:

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "50m",
    "max-file": "3"
  }
}

然后重启 Docker:

systemctl restart docker

这样每个容器最多占 50m × 3 = 150MB 的日志空间。

② 对已有容器:配置不会自动生效,要么重建容器时加上参数,要么单独处理。

docker run --log-opt max-size=50m --log-opt max-file=3 ...

第五步:加个定时巡检

#!/bin/bash
# /opt/check_docker_log.sh
THRESHOLD=20  # 单个日志超过 20G 就告警
for f in /var/lib/docker/containers/*/*-json.log; do
  [ -f "$f" ] || continue
  size=$(du -m "$f" | cut -f1)
  if [ "$size" -gt $((THRESHOLD*1024)) ]; then
    echo "告警: $f 已 $((size/1024))G" >> /var/log/docker_log_alert.log
  fi
done

配到 cron 里每小时跑一次。

顺带说:不只是 Docker

同样的思路也能查其他吃磁盘的东西:

# 找出 / 下最大的 20 个目录
du -h --max-depth=2 / 2>/dev/null | sort -rh | head -20

# 找出大于 1G 的文件
find / -type f -size +1G -exec ls -lh {} \; 2>/dev/null | awk '{print $5, $9}'

常见大户:/var/log、数据库 binlog、网站上传目录、备份文件没清理。

最后一句

日志不是越多越好。 保留三天的滚动日志,配合集中式日志服务(Loki、ELK)才是正解。全都攒在本地,迟早有一天会来教你做人。

© 版权声明
THE END
喜欢就支持一下吧
点赞16 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容