Disk full 是运维最经典的翻车现场之一。而半夜把磁盘吃满的,十有八九是容器日志。
先止血,再根治。
第一步:确认是不是它
df -h /
du -sh /var/lib/docker/* 2>/dev/null | sort -rh | head -10
如果 containers 那一项特别大,基本可以确定是日志。
第二步:找出具体哪个容器
du -sh /var/lib/docker/containers/*/*-json.log 2>/dev/null | sort -rh | head -10
文件名就是容器 ID。对照一下:
docker ps -q | xargs -I{} sh -c 'echo "{} $(docker inspect --format {{.Name}} {})"'
第三步:先清空,别急着删
不要 rm 日志文件。Docker 持有文件句柄,删了空间也不会释放,得重启容器才行。
: > /var/lib/docker/containers/<容器ID>/<容器ID>-json.log
用 : > 截断文件,句柄不失效,空间立刻释放。
第四步:根治——限制日志大小
两个层面都要设:
① 全局默认(新容器生效),编辑 /etc/docker/daemon.json:
{
"log-driver": "json-file",
"log-opts": {
"max-size": "50m",
"max-file": "3"
}
}
然后重启 Docker:
systemctl restart docker
这样每个容器最多占 50m × 3 = 150MB 的日志空间。
② 对已有容器:配置不会自动生效,要么重建容器时加上参数,要么单独处理。
docker run --log-opt max-size=50m --log-opt max-file=3 ...
第五步:加个定时巡检
#!/bin/bash
# /opt/check_docker_log.sh
THRESHOLD=20 # 单个日志超过 20G 就告警
for f in /var/lib/docker/containers/*/*-json.log; do
[ -f "$f" ] || continue
size=$(du -m "$f" | cut -f1)
if [ "$size" -gt $((THRESHOLD*1024)) ]; then
echo "告警: $f 已 $((size/1024))G" >> /var/log/docker_log_alert.log
fi
done
配到 cron 里每小时跑一次。
顺带说:不只是 Docker
同样的思路也能查其他吃磁盘的东西:
# 找出 / 下最大的 20 个目录
du -h --max-depth=2 / 2>/dev/null | sort -rh | head -20
# 找出大于 1G 的文件
find / -type f -size +1G -exec ls -lh {} \; 2>/dev/null | awk '{print $5, $9}'
常见大户:/var/log、数据库 binlog、网站上传目录、备份文件没清理。
最后一句
日志不是越多越好。 保留三天的滚动日志,配合集中式日志服务(Loki、ELK)才是正解。全都攒在本地,迟早有一天会来教你做人。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END






















暂无评论内容