Мониторинг VDS и сайтов

Диск заполнен Linux: ночью сайт упал, потому что /var/log съел всё место

Если диск заполнен в Linux, сайт падает — часто ночью из-за логов. Проверьте df -h и найдите раздутые файлы в /var/log, затем почистите и настройте ротацию.

Симптомы: сайт молчит, SSH еле дышит

Утром клиент пишет: «Сайт не открывается». Захожу по SSH — команды выполняются с задержкой, top показывает высокий iowait. Первым делом смотрю диск:

df -h
# Filesystem      Size  Used Avail Use% Mounted on
# /dev/vda1        50G   50G     0 100% /

Классика: корень забит под ноль. Дальше ищу, кто съел место.

Как искали: du и find по горячим следам

Быстро нахожу крупные каталоги:

du -sh /* 2>/dev/null | sort -rh | head -10
# 40G /var

Углубляюсь в /var:

du -sh /var/* 2>/dev/null | sort -rh | head -10
# 38G /var/log

Теперь ищу самые жирные файлы в логах:

find /var/log -type f -size +100M -exec ls -lh {} \; | sort -k5 -rh

Нахожу /var/log/nginx/access.log на 30 ГБ и /var/log/mysql/error.log на 5 ГБ. Причина — ночной парсер с кривым User-Agent, который долбил сайт каждую секунду, и logrotate не был настроен.

Фикс: чистим и настраиваем ротацию

Сначала освобождаю место, чтобы сайт ожил:

# Обрезаем активные логи (не удаляем!)
: > /var/log/nginx/access.log
: > /var/log/mysql/error.log
# Удаляем старые ротированные архивы
find /var/log -name '*.gz' -delete

Проверяю, что место появилось:

df -h /

Теперь настраиваю logrotate, чтобы логи не копились. Создаю конфиг /etc/logrotate.d/nginx:

/var/log/nginx/*.log {
    daily
    missingok
    rotate 14
    compress
    delaycompress
    notifempty
    create 0640 www-data adm
    sharedscripts
    postrotate
        invoke-rc.d nginx rotate >/dev/null 2>&1
    endscript
}

Для MySQL аналогично — смотрите гайд по logrotate. И обязательно проверьте, что ночной парсер не положит сервер снова — возможно, стоит ограничить его в nginx.conf через limit_req.

Как убедиться, что сработало

Через сутки проверяю:

df -h /  # использование должно быть < 80%
ls -lh /var/log/nginx/  # появились .1, .2.gz и т.д.
# Проверяем, что logrotate отработал
logrotate -d /etc/logrotate.d/nginx  # dry-run без ошибок

Сайт открывается, SSH отвечает мгновенно. Клиент доволен.

Чем подстраховаться, чтобы не повторилось

Типичная ошибка: удалять активный лог через rm. Файл останется открытым процессом и место не освободится. Всегда используйте : > file или truncate -s 0 file.
Если логи нужны для отладки, настройте отправку в централизованное хранилище (например, алерты в мессенджер), а локально храните только последние 7 дней.

Частые вопросы

Диск заполнен, но df показывает 100%, а du — меньше. Почему?

Скорее всего, место занимают удалённые файлы, которые всё ещё открыты процессами. Проверьте lsof +L1 и перезапустите процесс, держащий файл.

Какие логи чаще всего съедают диск?

Nginx access.log, MySQL error.log, journald (systemd). Смотрите /var/log и настройте ротацию для каждого.

Можно ли просто удалить все логи?

Нет, активные логи удалять нельзя — процесс продолжит писать в удалённый файл, и место не освободится. Используйте : > file или настройте logrotate.