Установка и использование clickhouse-bulk

Установка и использование clickhouse-bulk

Сlickhouse-bulk - это модуль для буферизирования запросов в ClikHouse, предназначенный для снижения нагрузки на основную базу ClickHouse

.

Установка модуля выполняется так:

# yum install go

# go env (нужно запустить один раз после установки)

# go version

Версия GO должна быть не ниже 1.13

Далее:

# mkdir /usr/bin/script_elis/clickhouse-bulk

# cd /usr/bin/script_elis/clickhouse-bulk

# git clone https://github.com/nikepan/clickhouse-bulk

# cd clickhouse-bulk

# go build

Готовим файл конфигурации службы clickhouse-bulk

# cp config.sample.json config.json

# nano /usr/bin/script_elis/clickhouse-bulk/clickhouse-bulk/config.json

{

  "listen": ":8124",

  "flush_count": 10000,

  "flush_interval": 1000,

  "dump_check_interval": 300,

  "debug": false,

  "dump_dir": "dumps",

  "clickhouse": {

    "down_timeout": 60,

    "connect_timeout": 10,

    "servers": [

      "http://<IPсервераClickHouse>:8123"

    ]

  }

}

Запуск Сlickhouse-bulk

# nohup /usr/bin/script_elis/clickhouse-bulk/clickhouse-bulk/clickhouse-bulk -config /usr/bin/script_elis/clickhouse-bulk/clickhouse-bulk/config.json

Проверка статуса работы службы:

# curl -s http://127.0.0.1:8124/metrics | grep "^ch_"

Для запуска службы автоматически после загрузки системы, используем файл  rc.local

# chmod +x /etc/rc.d/rc.local

# nano /etc/rc.local

Вписываем туда:

nohup /usr/bin/script_elis/elispoll_cikl.sh >/dev/null &

Отправлять данный теперь можно не в базу ClikHouse напрямую, а в модуль Сlickhouse-bulk на порт 8124, который сам уже накопит и перенаправит данные в основную базу