CentOS7. Использование syslog-ng для отправки данных в базу REDIS

CentOS7. Использование syslog-ng для отправки данных в базу REDIS

Устанавливаем REDIS:
# yum install redis
Запускаем сервис REDIS и включаем его в автозагрузку
# systemctl start redis.service
# systemctl enable redis

Удаляем сервис rsyslog, установленный по умолчанию и устанавливаем syslog-ng на сервер:
# yum -y remove rsyslog
# yum install syslog-ng
# yum install syslog-ng-redis

Редактируем конфигурации 
# nano /etc/syslog-ng/syslog-ng.conf
Добавляем в конфиг перед строчкой
@include "/etc/syslog-ng/conf.d/*.conf" следующие директивы:
################### Настройки ELIS ##########################
source net { udp(ip(0.0.0.0) port(514)); };
destination d_elis {
    redis(
        host(127.0.0.1)
        port(6379)
        command("rpush" "elislogs" "${R_YEAR}-${R_MONTH}-${R_DAY} ${R_HOUR}:${R_MIN}:${R_SEC}|${HOST}|${PRIORITY}|${MSG}")
    );
};
filter f_elis_10 {
    netmask(10.0.0.0/8);
};
filter f_elis_172 {
    netmask(172.16.0.0/12);
};
log { source(net); filter(f_elis_10); destination(d_elis); };
log { source(net); filter(f_elis_172); destination(d_elis); };
##############################################################

Запускаем syslog-ng и добавляем его в автозагрузку
# systemctl start syslog-ng.service
# systemctl enable syslog-ng.service

Все. Сервис syslog-ng работает на 514 порту и все пришедшие данные складываем в очередь ‘elislogs’ базы REDIS

Установка и использование REDIS (REmote DIctinary Service) в Cent OS7

Установка и использование REDIS (REmote DIctinary Service)  в Cent OS7

Установить EPEL репозитарий
# yum install epel-release
Установка базы  REDIS
# yum install redis
Запускаем сервис REDIS и включаем его в автозагрузку
# systemctl start redis.service
# systemctl enable redis

По умолчанию сервис REDIS запускается на порту 6379 и слушает только localhost.
У сервиса есть режим командной строки. Заходим в него для проверки и отправляем проверочную команду PING, на которую последует ответ PONG
# redis-cli
127.0.0.1:6379> ping
PONG
127.0.0.1:6379>
Пример установки пары ключ – значение
127.0.0.1:6379> SET a 12345
OK
Получение значения по ключу:
127.0.0.1:6379> GET a
"12345"
Выход из командной строки - CTRL+D

Конфигурация сервера в файле /etc/redis.conf
По умолчанию сервер прослушивает только localhost. Это отражено в директиве:
bind 127.0.0.1

Логи в директории /var/log/redis/

Передавать команды в REDIS из внешних скриптов можно так:
# redis-cli set test:1:string "my binary safe string"
OK
# redis-cli get test:1:string
"my binary safe string"

Скрипт PHP для передачи параметров в базу:
<?php 
# https://github.com/nrk/predis
date_default_timezone_set('Etc/GMT-3');
require  "vendor/autoload.php"; 
$client = new Predis\Client([
    'scheme' => 'tcp',
    'host'   => '127.0.0.1',
    'port'   => 6379,
]);
$client->set('foo', 'bar');
$value = $client->get('foo');
echo $value."\n";
?>

Скрипт Python для работы с базой:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import redis
r = redis.StrictRedis(host='localhost', port=6379)
# Извлекаем одну строчку из очереди пока есть что извлекать
while(r.llen('logs')!=0):
   # Извлекаем одну строчку
   log_str = r.lpop('logs')

Удалить все записи из REDIS можно командой:
> FLUSHALL
Удалить из текущей базы все элементы:
>FLUSHDB
Узнать содержимое баз данных REDIS:
> info
Вот здесь (в самом конце вывода) информация о количестве ключах баз данных:
db0:keys=8442,expires=0,avg_ttl=0
db1:keys=8441,expires=0,avg_ttl=0
Показ всех элементов в очереди:

>LRANGE logs 0 999