Проект Prometheus представляет собой централизированную систему мониторинга, предлагает исходные тексты, бинарники под разные архитектуры (для основных компонентов) и Docker-образ. В документации приведены ссылки на код Ansible, Chef, Puppet и SaltStack. В репозиториях основных дистрибутивов уже есть пакеты с некоторыми компонентами, правда, их версия не самая актуальная. В Ubuntu на сегодня в репозитории доступна версия 0.16.2 сборки годичной давности, когда на сайте уже давно 1.5.2. Версии отличаются некоторыми параметрами конфигурационного файла и данными, записываемыми в метрики, поэтому, наверное, лучше сразу ставить последний релиз. Скачиваем архив:

Распаковываем и копируем файлы prometheus и promtool в /usr/bin, а шаблон конфигурационного файла в /etc/ prometheus. Также нужно создать каталог, куда будут складываться метрики /var/lib/prometheus/metrics. Создаем файл для запуска через systemd.

Включаем в автозапуск и стартуем.

Аналогично проделываем с пакетом Node Exporter – для мониторинга самого сервера Prometheus он отлично подходит – и другими приложениями, если не принято решение использовать Telegram (о нем дальше).

В принципе можно даже попробовать запустить. Сервис Node Exporter будет запущен на порту 9100 и веб-интерфейс Prometheus на 9090 без какой-либо аутентификации и виден всем. Для защиты веб-интерфейса лучше установить при помощи параметра web.listen-address на localhost и указать пароль при помощи auth.user и auth.pass. Удобнее для этой цели использовать прокси, вроде nginx proxy_pass с htpasswd. Если не нравится, что метрики могут видеть все, то можно для их доставки на сервер Prometheus использовать VPN или SSH.

Конфигурационный файл называется /etc/prometheus/ prometheus.yml, после установки имеем рабочий шаблон с минимумом настроек, для мониторинга локальной системы его можно взять за основу. Для наших задач его достаточно. Файл в YAML-формате, все установки и значения по умолчанию можно узнать, введя prometheus -h. В Git в config/testdata/conf.good.yml есть более полный вариант, в котором найдете примеры установки TLS, подключение к Azure, AWS и другое.

Самыми важными для подключения агентов являются секции scrape_configs и static_configs:

В терминах Prometheus targets это любой источник данных, называемый еще instance. Пока у нас один узел. При появлении следующего просто добавляем его данные – ip, порт и прочие параметры. Метка не обязательна, она позволяет переопределить имя узла, да и читать такой файл потом легче. Параметр job_name – это имя процесса, позволяющего группировать targets одного типа и задавать специфические

В файле можно определить несколько имен. Вся эта информация доступна в базе Prometheus, и ее можно использовать в фильтрах для отбора данных. Можем запустить в консоли и проверить работу и отсутствие ошибок (YAML все-таки).

И первый раз запускаем в консоли, чтобы видеть появившиеся ошибки:

Если все нормально, стартуем.

 

Проверить работу Node Exporter можно, подключившись браузером к http://server_ip:9100/metrics, в результате должны получить список метрик.

Подключившись браузером на localhost:9090, можем увидеть информацию о работе Prometheus и просмотреть собранные метрики. Настройки, конфигурационный файл и статус удаленных узлов выводятся во вкладке Status (см. рис. 2).

Рисунок 2. Статус подключенных узлов в Prometheus

Prometheus

В Consoles и Graph генерируются графики. Принцип прост: начинаем вводить название метки, дальше интерфейс сам подскажет. Внизу будут выведены метки, попавшие под шаблон, используя эту информацию можно изменить запрос. Когда команда создана, нажимаем Execute. Результат будет выведен в виде числового ряда или графика (см. рис. 3).

Prometheus

Есть еще одна вкладка Consoles, на которой доступны графики и различная статистика по серверу, собранная Node Exporter (при необходимости шаблоны можно перестроить на Telegraf). Чтобы ее увидеть, нужно скопировать в /etc/prometheus два каталога из Git. В consoles лежат собственно шаблоны, в consoles_libraries – библиотеки. Текущие шаблоны настроены на job_name: node, prometheus, haproxy, cloudwatch, cassandra и blackbox.

Итак, сервер у нас готов принимать метрики. Но клиентов, кроме локального, пока нет.

Нужна установка мониторинга? Обращайтесь [email protected]

Источник: Системный администратор №5 2017