Prometheus – это система сбора статистики с элементами мониторинга, использующая собственную эффективную базу данных для хранения информации. По умолчанию база хранить данные за последние 14 дней, что для оперативного мониторинга состояния вполне достаточно.
Prometheus – это не законченное решение по типу Zabbix. Это высокопроизводительный каркас, к которому можно прикрутить и триггер событий, и web-dashboard, и красивую форму аналитики. Обычно в качестве web-dashboard для просмотра текущих метрик Prometheus используют Grafana.
Сайт проекта: https://prometheus.io/
Система Prometheus состоит из серверной части (базы данных) и так называемых экспортеров (exporter). Экспортеры занимаются опросом и подготовкой метрик для серверной части. Серверная часть с установленной периодичностью (по умолчанию 5 секунд) обращается к экспортерам и забирает оттуда готовые метрики для вставки в базу данных. Существует так же режим pull, когда собранные данные отправляются сразу в серверную часть без участия экспортера. Перечень типовых экспортеров можно найти на странице: https://prometheus.io/docs/instrumenting/exporters/. Для сбора данных с серверов Linux используется обычно экспортер под названием «node_exporter». Каждый модуль системы grafana скачивается и собирается на сервере отдельно. Установить Prometheus с использованием пакетного менеджера нельзя.
Установка Prometheus.
Сервер Prometheus использует для работы порт TCP 9090. Этот же порт использует WEB- dashboard Cockpit встроенный в Rocky Linux 8.
Отключим WEB- dashboard Cockpit:
# systemctl stop cockpit.socket
# systemctl disable cockpit.socket
Переходим на страницу загрузки Prometheus
https://prometheus.io/download/
В разделе prometheus ищем стабильный релиз для Linux. alpha, rc, beta и прочие релизы отметаем.
Копируем ссылку на файл архива.
Например, https://github.com/prometheus/prometheus/releases/download/v2.33.5/prometheus-2.33.5.linux-amd64.tar.gz
Переходим в консоль сервера, на котором будем выполнять установку серверной части Prometheus. Сначала создаем пользователя и группу prometheus, под которым будет работать сервис Prometheus
# useradd -M -r -s /bin/false prometheus
Ключ -M: пользователь не имеет домашней директории
Ключ -s /bin/false запрещает пользователю входить в консоль
Ключ -r создает системную группу
Скачиваем и распаковываем архив по ссылке скопированной ранее
# cd /usr/src/
# wget https://github.com/prometheus/prometheus/releases/download/v2.33.5/prometheus-2.33.5.linux-amd64.tar.gz
# tar zxvf prometheus-2.33.5.linux-amd64.tar.gz
# cd prometheus-2.33.5.linux-amd64
Создаем дополнительные директории для работы сервиса Prometheus и раскладываем файлы из архива по системе Linux:
# mkdir /etc/prometheus
# mkdir /var/lib/prometheus
Бинарные файлы копируем в директорию исполняемых файлов:
# cp prometheus promtool /usr/local/bin/
Конфигурационные файлы в соответствующую директорию:
# cp -r console_libraries consoles prometheus.yml /etc/prometheus
Главный конфигурационный файл получился тут: /etc/prometheus/prometheus.yml
Определяем права для скопированных файлов и и созданных директорий:
# chown -R prometheus:prometheus /etc/prometheus
# chown -R prometheus:prometheus /var/lib/prometheus
# chown prometheus:prometheus /usr/local/bin/{prometheus,promtool}
Проверочный запуск:
# /usr/local/bin/prometheus --config.file=/etc/prometheus/prometheus.yml
Запуск должен завершиться сообщением:
level=info msg="Server is ready to receive web requests."
Теперь к интерфейсу можно подключиться так:
http://<IPадрес>:9090/graph
Встроенный WEB-интерфейс серверной части Prometheus выглядит так:
Остановка сервиса в консоли выполняется командой CTRL+C
Для запуска Prometheus в автоматическом режиме нужно создать unit system в Linux
# touch /etc/systemd/system/prometheus.service
# nano /etc/systemd/system/prometheus.service
Содержимое файла:
[Unit]
Description=Prometheus Time Series Collection and Processing Server
After=network.target
[Service]
User=prometheus
Group=prometheus
Type=simple
ExecStart=/usr/local/bin/prometheus \
--config.file /etc/prometheus/prometheus.yml \
--storage.tsdb.path /var/lib/prometheus/ \
--web.console.templates=/etc/prometheus/consoles \
--web.console.libraries=/etc/prometheus/console_libraries
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
[Install]
WantedBy=multi-user.target
Затем:
# systemctl daemon-reload
Запускаем сервис:
# systemctl enable prometheus
# systemctl start prometheus
Просмотр статуса сервиса:
# systemctl status prometheus.service
Установка node_exporter.
Служба node_exporter предназначена для сбора по запросу Prometheus основных данных с сервера Linux, преобразование в формат удобный для базы Prometheus и передача данных в базу.
Для установки экспортера nose_exporter копируем ссылку со страницы загрузки https://prometheus.io/download/#node_exporter. Например, это может быть ссылка:
https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
Из консоли сервера, который будем мониторить, выполняем команды загрузки файла архива на сервер. Затем производим распаковку:
# cd /usr/src/
# wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
# tar zxvf node_exporter-1.3.1.linux-amd64.tar.gz
Копируем файл node_exporter в директорию с исполняемыми файлами:
# cp node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin/node_exporter
Создаем пользователя node_exporter под которым будет работать утилита node_exporter.
# useradd -M -r -s /bin/false node_exporter
# chown node_exporter:node_exporter /usr/local/bin/node_exporter
Создаем unit systemd для автозапуска сервиса в Linux
# nano /etc/systemd/system/node_exporter.service
Содержимое файла:
[Unit]
Description=Node Exporter Service for Prometheus
After=network.target
[Service]
User=node_exporter
Group=node_exporter
Type=simple
ExecStart=/usr/local/bin/node_exporter
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
[Install]
WantedBy=multi-user.target
Активируем юнит:
# systemctl daemon-reload
# systemctl start node_exporter
# systemctl enable node_exporter
Теперь метрики могут собираться с данного сервера с порта 9100
Проверка того, что порт 9100 открыт и используется:
# netstat -ltupn | grep 9100
К порту можно обратиться теперь так:
http://<IPадрес>:9100/metrics
Пример ответа:
Теперь сервис Prometheus нужно научить обращаться к экспортеру «node_exporter».
Для этого на сервере Prometheus необходимо внести правки к конфигурационный файл prometheus.yml
# nano /etc/prometheus/prometheus.yml
В раздел «scrape_configs:» добавляем ссылки на метрики, которые генерируют node_exporter
- job_name: 'node_exporter_clients'
scrape_interval: 5s
static_configs:
- targets: ['10.10.8.2:9100','10.10.1.2:9100']
Тут для примера показано, что сервису Prometheus нужно с периодичностью 5 секунд опрашивать экспортеры, работающие на адресах 10.10.8.2:9100 и 10.10.1.2:9100.
Для применения изменений сервис Prometheus нужно перезапустить:
# systemctl restart prometheus
Для просмотра значения метрик можно использовать уже встроенный WEB-интерфейс Prometheus http://<IPадрес>:9090/graph
Примеры метрик, которые можно получать в интерфейсе Prometheus
node_memory_MemFree_bytes
node_cpu_seconds_total
node_filesystem_avail_bytes
rate(node_cpu_seconds_total{mode="system"}[1m])
rate(node_network_receive_bytes_total[1m])
rate(node_network_transmit_bytes_total[1m])
Метрику нужно ввести в поисковый запрос и переключиться на вкладку Graph. Пример:
Но обычно для просмотра метрик используют что-то более дружелюбное и красивое – например Grafana.
Установка Grafana.
Grafana представляет собой красивый и удобный web-интерфейс для чтения метрик из Prometheus. Установка выполняется через rpm.
# yum install https://dl.grafana.com/oss/release/grafana-8.0.5-1.x86_64.rpm
# systemctl daemon-reload
# systemctl start grafana-server
# systemctl enable grafana-server
Grafana сервер работает на порту 3000. Проверить то, что порт открыт на сервере нужно так:
# netstat -ltupn | grep 3000
Обратиться к серверу можно теперь так:
http://<IPадрес>:3000/
По умолчанию данные для входа admin / admin
После первого входа сразу будет предложено сменить пароль.
После чего стартовая страница Grafana будет выглядеть так:
Добавляем источник данных DATA SOURCES. Выбираем Prometheus (если его нет среди предложенных, то используем поисковую строку)
Затем вписываем в поле URL путь сервису Prometheus. Например, «http://10.10.49.166:9090»
Нажимаем "Save&test" (внизу страницы)
На завершающем этапе нужно создать Dashboard. Это можно сделать вручную по нужным метрикам. Или Dashboard можно импортировать с сайта https://grafana.com/grafana/dashboards/ . Тут есть множество готовых dashboard.
Самый полный для node_exporter - это "Node Exporter Full"
Его URL - https://grafana.com/grafana/dashboards/1860
В конце URL есть число. Это ID готового dashboard. Запоминаем ID 1860.
В Grafana выбираем Import, в поле "Import via grafana.com" вписываем 1860, нажимаем Load
Затем выбираем источник Prometheus и dashboard будет создан в системе Grafana. Теперь к dashboard можно обратиться через раздел Manage General и выбрать Node Exporter Full
Откроется панель отображения параметров сервера:
Вверху слева можно выбирать интересующий сервер из выпадающего списка.
