Здравствуйте, разработчики,
В этом блоге мы расскажем, как использовать DataDog для определения загрузки диска. Но перед этим расскажите мне, зачем это нужно.
При использовании машин EC2 у нас обычно есть подключенный том EBS или дополнительный том EBS. Вы могли много раз видеть ошибку “No space left on device” или иногда 100% utilisation state подобного рода. При возникновении этой ошибки вы могли принять меры, добавив дополнительный том или изменив размер текущего тома EBS. Но иногда эти действия могут быть предприняты с опозданием, потому что мы узнаем об этом очень поздно, и это может привести к ухудшению пользовательского опыта. Иногда вы превышаете размер тома и в итоге платите дополнительные расходы. Как этого избежать?
Здесь я объясню, как избежать этого и контролировать использование диска тома EBS с помощью Datadog. Как это может уберечь вас от любых инцидентов и сэкономить ваши расходы.
Давайте сначала разберемся, почему использование диска имеет большое значение.
Оглавление
Почему использование диска имеет значение?
Ваш диск - это не что иное, как жесткий диск или том облачного экземпляра. Он используется не только для сохранения данных или кода, но и играет важную роль в операциях записи и чтения. Он имеет такой же вес, как процессор или оперативная память. Каждый жесткий диск способен выполнять множество операций чтения и записи, которые определяют скорость IOPS. Это приведет к замедлению работы вашего экземпляра или ПК. Клиенты или конечные пользователи могут столкнуться с проблемами при доступе к приложениям. Использование диска может достичь предела в 90% или 100% только потому, что код или приложение требует больше операций чтения и записи, которые вы не можете сократить.
Поэтому метрики использования диска важны для потребителей, чтобы знать, сколько хранилища используется недостаточно или чрезмерно, чтобы оптимизировать затраты на диск. А также преодолеть любой инцидент. Наблюдая за метриками использования диска, можно выяснить, какая модель использования ожидается в общем приложении, и соответственно изменить размер диска.
Но вопрос в том, как я могу получить раннее уведомление, когда использование диска достигает некоторого порога? Как я могу узнать, каково среднее использование диска? Здесь может помочь Datadog.
DataDog ?
Datadog - одна из лучших платформ для мониторинга и управления журналами. Вы можете интегрировать свои локальные или облачные экземпляры, или сервисы, чтобы получить все журналы и метрики в одном месте. Datadog обеспечивает мониторинг в режиме реального времени и инициирование событий на основе пороговых значений метрик или сообщений журналов для принятия соответствующих мер. — официальный сайт Datadog
Как Datadog может помочь в использовании дисков?
Datadog предоставляет агенты установки, которые должны быть установлены на сервере или экземпляре. Этот агент будет продолжать сбрасывать данные регистрации и метрики на приборную панель Datadog. Datadog имеет механизм сборки на основе пороговых показателей, например, когда ”использование процессора более 80%” или ”использование диска более 70%” может вызвать уведомление соответствующей команды или члена команды по электронной почте или Slack или ops genie и т.д. Также на основе модели использования вы можете настроить масштабирование диска.
Давайте рассмотрим на примере тома AWS EBS. AWS EBS volume предоставляет метрики CloudWatch, которые легко интегрируются с Datadog. Также, как было сказано выше, можно установить агент и получать журналы в течение 15 секунд.
Как это сделать?
Давайте разберемся, как DataDog может быть интегрирован с томом AWS EBS и получать необходимые метрики. Для этого необходимо, чтобы у вас уже был запущен AWS EC2 с подключенным томом по умолчанию.
- Во-первых, если у вас еще нет учетной записи в Datadog, создайте ее на сайте Datadog.com, там предоставляется 14-дневный пробный период.
- После создания учетной записи вам нужно выбрать платформу, которую вы собираетесь интегрировать, например AWS, Google, Docker, Azure и т.д.
- Выберите экземпляр семейства ОС.
- Начните выполнять шаги, указанные на странице. Когда все будет завершено, нажмите кнопку Finish.
- Вы будете перенаправлены на сайт https://app.datadoghq.com/. Первый экран приветствия будет выглядеть следующим образом, если вы делаете это в первый раз.
- В левой части навигации нажмите на Метрики -> Проводник -> Добавить запрос
- Выберите запрос, связанный с дисками. Для использования диска можно выбрать system.disk.in_use , system.disk.free и system.disk.used
- После выполнения запроса можно увидеть метрики, отображаемые на странице. Нажмите кнопку "Сохранить в приборной панели"
.
- В поисковом запросе можно поиграть с добавлением формул.
- Как и несколько других метрик, которые вы можете опробовать в соответствии с пунктом #7.
- В разделе "Монитор" вы можете создать оповещение, когда дисковое пространство превышает порог или используется недостаточно. (необязательный шаг)
На этом интеграция Datadog с экземпляром завершена, и мы можем просматривать метрики объема EBS и отслеживать закономерности для принятия решения об оптимизации затрат :)
Надеюсь, этот блог поможет вам в обучении. Не стесняйтесь обращаться ко мне в Twitter @AvinashDalvi_ или оставлять комментарии в блоге.