Сервер упал: что делать в первые минуты и как снизить риск простоев

«Сервер упал» — фраза, которая останавливает работу офиса: не открывается 1С, недоступны файлы, не работает сайт или почта. В такой ситуации важно действовать по порядку, а не хаотично перезагружать всё подряд. Ниже — порядок действий при сбое и меры, которые помогают избежать повторения.

Шаг 1. Определить масштаб

Сначала выясните, что именно не работает:

• недоступен весь сервер или одна программа
• проблема у всех пользователей или у части
• проблема в офисе или и у удалённых сотрудников
• работает ли интернет и локальная сеть

Иногда «сервер упал» означает, что у одного пользователя пропала сеть или закончилась лицензия 1С. Пять минут проверки экономят часы на поиск не там.

Шаг 2. Проверить очевидное

1. Есть ли питание: работает ли сервер, не сработал ли источник бесперебойного питания
2. Отвечает ли сервер в сети: доступен ли он с других компьютеров
3. Работает ли сетевое оборудование: коммутатор, маршрутизатор
4. Если сервер в облаке или дата-центре — нет ли сообщений провайдера о сбоях
5. Не закончилось ли место на дисках
6. Не истёк ли срок оплаты хостинга, домена или сертификата

Шаг 3. Не делать хуже

• Не перезагружайте сервер многократно без понимания причины — при проблемах с дисками это может привести к потере данных
• Не удаляйте файлы в спешке, чтобы освободить место
• Если есть подозрение на атаку или шифровальщик — отключите сервер от сети, но не выключайте и не перезагружайте до консультации со специалистом: это может помешать расследованию и восстановлению
• Фиксируйте всё, что делаете, и время

Шаг 4. Диагностика по типовым причинам

Оборудование. Отказ диска, блока питания, памяти, перегрев. Признаки — индикаторы на сервере, сообщения в системе управления, сервер не загружается.

Место на дисках. Заполненный диск останавливает базы данных и службы. Частая причина — разросшиеся журналы и резервные копии на том же диске.

Обновления. Автоматическое обновление с перезагрузкой или конфликт после обновления.

Нагрузка. Сервер не справляется: не хватает памяти, процессора, медленные диски.

Атака. Шифровальщик, взлом, DDoS-атака на сайт.

Ошибка конфигурации. Изменения, внесённые незадолго до сбоя.

Журналы событий операционной системы и приложений — главный источник информации о причине.

Шаг 5. Восстановление

Порядок зависит от причины: замена оборудования, освобождение места, откат обновления, восстановление из резервной копии. При восстановлении из копии важно понимать, какие данные будут потеряны с момента последней копии, и предупредить пользователей.

Коммуникация

Пока специалисты работают, сотрудники и клиенты должны знать, что происходит:

• короткое сообщение сотрудникам: что не работает, что делать пока, когда ожидается следующее обновление
• если затронуты клиенты — уведомление на сайте или в Telegram-канале
• регулярные обновления статуса

Отсутствие информации порождает панику и десятки звонков IT-специалисту, которые мешают работать.

После восстановления: разбор причин

Обязательно проведите разбор: что произошло, почему, как обнаружили, сколько заняло восстановление, что сделать, чтобы не повторилось. Цель разбора — улучшить систему, а не найти виноватого.

Как снизить риск простоев

• Мониторинг — оповещения о заполнении дисков, нагрузке, недоступности служб до того, как пользователи заметят проблему
• Резервные копии — автоматические, хранящиеся отдельно от сервера, с регулярной проверкой восстановления
• Резервирование — RAID для дисков, резервный блок питания, источник бесперебойного питания
• Управляемые обновления — в нерабочее время, с проверкой
• Документация — схема инфраструктуры, пароли в защищённом хранилище, инструкции по восстановлению
• Контракт с поддержкой — кто и как быстро реагирует при сбое
• План восстановления — сколько времени простоя допустимо для каждой системы и как его обеспечить

Облако или свой сервер

Перенос в облако или дата-центр снимает часть рисков, связанных с оборудованием и электропитанием в офисе, но не отменяет необходимости мониторинга, резервных копий и грамотной настройки.

Если ваш сервер падает не первый раз или вы хотите заранее подготовиться к сбоям, напишите — проведём аудит инфраструктуры и настроим мониторинг.