ActiveScaleвнедрение и сопровождение

Техническое обслуживание и сопровождение ActiveScale

Коротко. Сопровождение — это не «сидеть на телефоне», а регламент: что проверяем каждый день, каждую неделю, каждый месяц и квартал; как реагируем на события; когда меняем диски и ленту; как обновляемся. Результат — предсказуемое состояние системы и понятная история работ.

1. Уровни поддержки

Уровень Кто Что делает
L1 дежурный/оператор мониторинг, приём заявок, типовые проверки по чек-листу, эскалация
L2 инженер сопровождения диагностика, разбор событий/задач, работа с моделью, S3/IAM, лента
L3 профильный инженер / вендор сложные случаи, код продукта, эскалация в Quantum Support

Мы можем закрывать L1–L3 или только L2–L3, а L1 оставить вашей команде.

2. Регламент

2.1 Ежедневно

  • LIVE-события: новые, критические, повторяющиеся.
  • Задачи: FAILURE, REVOKED, залипшие.
  • Ёмкость: барометр, заполнение NS/блоксторов.
  • S3-фронт: 307 + Server, доступность.
  • Часы/NTP: синхронизация, расхождение между нодами.
  • Лента: статус приводов, свободные кассеты (genscratch), safety.

2.2 Еженедельно

  • Диски: SMART, mdstat, события DISK_*.
  • Вентиляторы/NIC: ложные NOTFOUND/NIC_DOWN, лишние порты.
  • Модель: неприменённые изменения, латентность API.
  • Бэкап конфигурации/модели (если не автоматизирован).
  • Сверка каталога кассет с железом.

2.3 Ежемесячно

  • Политика DSS и фактическое число блоксторов: w+s ≤ N.
  • Сертификаты: срок, SAN, соответствие имени.
  • Обновления безопасности/патчи — по плану.
  • Отчёт: что произошло, что сделано, что в наблюдении.

2.4 Квартально

  • Ревизия runbook и чек-листов.
  • Тест восстановления (выборочно): restore из холодного класса.
  • Планирование апгрейда/расширения.
  • Ревизия доступов и учётных записей.

3. Реакция на инциденты

  1. Фиксация: что видит пользователь, код ответа, время.
  2. Чтение: модель, события, задачи, журналы, SMART, сеть. Ничего не меняем.
  3. Гипотеза и проверка: отделяем симптом от причины; проверяем каждую версию.
  4. Решение: штатный путь; если обход — помечаем «временная мера» и планируем замену.
  5. Проверка: конкретные коды/значения; наблюдение после.
  6. Разбор: что было, почему, как не повторить.

Правило: не переустанавливать и не менять пароли «на всякий случай». Сначала измерить.

4. Работы с железом

  • Диски: замена, decommission, проверка SMART; не форматировать «на глаз».
  • Вентиляторы/NIC: фильтр ложных событий через модель, а не «удалить события».
  • Питание: после аварии — BMC, mongod, default route, NTP (в этом порядке).
  • Лента: приводы, кассеты, штрихкоды, safety, restore; каталог — с железа, не выдумывать.

5. Обновления

  • Планируются как отдельный проект: health check, бэкап конфигурации, окно, проверка после.
  • Даунгрейд после апгрейда — нет; поэтому окно и план отката (на уровне конфигурации) обязательны.
  • Обходы/патчи снимаются до апгрейда; после — проверяются заново.

6. Отчётность

Ежемесячный отчёт:

  • Доступность и ключевые метрики.
  • События: сколько, какие, что закрыто.
  • Работы: что сделано, чем подтверждено.
  • Риски и рекомендации.
  • План на следующий месяц.

7. Что не входит без отдельного согласования

  • Изменения в продуктивной сети/AD/DNS заказчика.
  • Переустановка системы.
  • Апгрейд без health check и окна.
  • Работы с лентой, которые могут затронуть данные.

8. Форматы

  • Разовые выезды/удалённые сессии.
  • Пакет часов в месяц.
  • Годовое сопровождение с регламентом и отчётами.
  • Обучение + передача.

Стоимость и сроки — по запросу после аудита.

Частые вопросы

Что входит в регламент? Ежедневно — события, задачи, ёмкость и барометр, S3-фронт, часы и NTP, состояние ленты. Еженедельно — SMART и mdstat, ложные события по вентиляторам и NIC, неприменённые изменения модели, бэкап конфигурации, сверка кассет. Ежемесячно — политика DSS, сертификаты, патчи, отчёт. Ежеквартально — ревизия runbook, тест restore, план расширения.

Как часто нужен выезд на площадку? Не по расписанию ради расписания: большинство проверок регламента делается удалённо. Выезд нужен там, где без рук не обойтись — замена дисков, работы с библиотекой и кассетами, монтаж, разбор железа. Формат выбираете вы: разовые выезды, пакет часов в месяц или годовое сопровождение с регламентом и отчётами.

Можно ли всё делать удалённо? Да, регламент и диагностика рассчитаны на удалённую работу: доступ к management-сети через VPN или jump-host, чтение модели, событий, задач, журналов служб, SMART и сети. Удалённо разбираются S3-ошибки, часы, федерация, лента на уровне коннектора и реестра кассет. Физические операции с железом и носителями — только на площадке.

Что происходит при аварии ночью? Первым срабатывает L1 — дежурный или оператор: фиксирует, что видит пользователь, код ответа и время, и эскалирует на L2. Инженер начинает с чтения фактов, а не с изменений: в темноте «на всякий случай» ломается больше, чем чинится. Порядок эскалации и аварийные окна согласуются заранее.

Как вы отчитываетесь? Ежемесячный отчёт: доступность и ключевые метрики, события — сколько, какие, что закрыто, работы — что сделано и чем подтверждено, риски и рекомендации, план на следующий месяц. Отчёт строится на живых проверках, а не на пересказе GUI. Раз в квартал — ревизия runbook и планирование апгрейда или расширения.