Диск заполнен Linux: ночью сайт упал, потому что /var/log съел всё место
Если диск заполнен в Linux, сайт падает — часто ночью из-за логов. Проверьте df -h и найдите раздутые файлы в /var/log, затем почистите и настройте ротацию.
Симптомы: сайт молчит, SSH еле дышит
Утром клиент пишет: «Сайт не открывается». Захожу по SSH — команды выполняются с задержкой, top показывает высокий iowait. Первым делом смотрю диск:
df -h
# Filesystem Size Used Avail Use% Mounted on
# /dev/vda1 50G 50G 0 100% /
Классика: корень забит под ноль. Дальше ищу, кто съел место.
Как искали: du и find по горячим следам
Быстро нахожу крупные каталоги:
du -sh /* 2>/dev/null | sort -rh | head -10
# 40G /var
Углубляюсь в /var:
du -sh /var/* 2>/dev/null | sort -rh | head -10
# 38G /var/log
Теперь ищу самые жирные файлы в логах:
find /var/log -type f -size +100M -exec ls -lh {} \; | sort -k5 -rh
Нахожу /var/log/nginx/access.log на 30 ГБ и /var/log/mysql/error.log на 5 ГБ. Причина — ночной парсер с кривым User-Agent, который долбил сайт каждую секунду, и logrotate не был настроен.
Фикс: чистим и настраиваем ротацию
Сначала освобождаю место, чтобы сайт ожил:
# Обрезаем активные логи (не удаляем!)
: > /var/log/nginx/access.log
: > /var/log/mysql/error.log
# Удаляем старые ротированные архивы
find /var/log -name '*.gz' -delete
Проверяю, что место появилось:
df -h /
Теперь настраиваю logrotate, чтобы логи не копились. Создаю конфиг /etc/logrotate.d/nginx:
/var/log/nginx/*.log {
daily
missingok
rotate 14
compress
delaycompress
notifempty
create 0640 www-data adm
sharedscripts
postrotate
invoke-rc.d nginx rotate >/dev/null 2>&1
endscript
}
Для MySQL аналогично — смотрите гайд по logrotate. И обязательно проверьте, что ночной парсер не положит сервер снова — возможно, стоит ограничить его в nginx.conf через limit_req.
Как убедиться, что сработало
Через сутки проверяю:
df -h / # использование должно быть < 80%
ls -lh /var/log/nginx/ # появились .1, .2.gz и т.д.
# Проверяем, что logrotate отработал
logrotate -d /etc/logrotate.d/nginx # dry-run без ошибок
Сайт открывается, SSH отвечает мгновенно. Клиент доволен.
Чем подстраховаться, чтобы не повторилось
- Настройте алерты по диску: гайд по алертам на диск.
- Поставьте мониторинг свободного места (например, через наши инструменты).
- Ограничьте размер логов через
logrotateиmaxsize. - Проверьте inode — иногда место есть, а inode кончились: диск и inode.
rm. Файл останется открытым процессом и место не освободится. Всегда используйте : > file или truncate -s 0 file.Частые вопросы
Диск заполнен, но df показывает 100%, а du — меньше. Почему?
Скорее всего, место занимают удалённые файлы, которые всё ещё открыты процессами. Проверьте lsof +L1 и перезапустите процесс, держащий файл.
Какие логи чаще всего съедают диск?
Nginx access.log, MySQL error.log, journald (systemd). Смотрите /var/log и настройте ротацию для каждого.
Можно ли просто удалить все логи?
Нет, активные логи удалять нельзя — процесс продолжит писать в удалённый файл, и место не освободится. Используйте : > file или настройте logrotate.