半夜磁盘突然 100%?先别删文件,三步把日志管住

服务器磁盘满了,是运维最烦的事故之一:数据库写不进去、日志写不了、网站直接 500。

而 90% 的情况,凶手都是日志文件 —— 一个没被清理的 access.log 长到几十 G,谁也没发现。

下面三步,从止血到根治。

第一步:确认是谁吃满了

df -h

看到 / 使用率 100%,接着找大文件:

du -h --max-depth=2 /var/log 2>/dev/null | sort -rh | head -20

常见的几个大户:

  • /var/log/nginx/access.log(访问日志,流量大时增长极快)
  • /www/wwwlogs/*.log(宝塔的站点日志)
  • /var/lib/docker/containers/*/*-json.log(容器标准输出)
  • /var/log/journal/(systemd 日志)

第二步:先止血(别直接 rm)

千万别直接 rm 正在被写入的日志文件 —— 文件句柄还开着,磁盘空间不会释放。

正确做法是清空内容:

# 清空但不删文件
truncate -s 0 /var/log/nginx/access.log

# 或者
echo "" > /var/log/nginx/access.log

# 或者只保留最后 1000 行
tail -n 1000 /var/log/nginx/access.log > /tmp/a.log && cat /tmp/a.log > /var/log/nginx/access.log

容器日志单独处理:

truncate -s 0 /var/lib/docker/containers/*/*-json.log

第三步:根治(logrotate)

Ubuntu / Debian 自带 logrotate,配置一个规则就能自动切割:

sudo tee /etc/logrotate.d/myapp <<'EOF'
/var/log/nginx/*.log /www/wwwlogs/*.log {
    daily
    rotate 7
    missingok
    notifempty
    compress
    delaycompress
    copytruncate
    dateext
}
EOF

参数说明:

参数 作用
daily 每天切一次
rotate 7 保留 7 份
compress 旧日志 gzip 压缩
copytruncate 关键:复制后清空原文件,不用重启服务
dateext 用日期做后缀,方便查找

测试配置是否正确:

sudo logrotate -d /etc/logrotate.d/myapp   # 只演练不执行
sudo logrotate -f /etc/logrotate.d/myapp   # 强制执行一次

补充:给 Docker 加全局限制

容器的 json 日志是隐形杀手,直接在 daemon 层限制:

sudo tee /etc/docker/daemon.json <<'EOF'
{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "50m",
    "max-file": "3"
  }
}
EOF
sudo systemctl restart docker

这样每个容器最多占 150M 日志,永远不会失控。

最后:加个监控

配好 logrotate 也不是万事大吉。建议加一条磁盘告警,阈值设在 80%:

# 简单版,超过 85% 就发邮件或 webhook
df -h / | awk 'NR==2 {gsub(/%/,"",$5); if ($5+0 > 85) print "磁盘告警: " $5}'

挂到 cron 每小时跑一次,比事后救火强得多。

© 版权声明
THE END
喜欢就支持一下吧
点赞35 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容