Архив метки: syslog

Разворачивание syslog-сервера с веб-интерфейсом

  Автор: | |
2 комментария

Невероятно странно, но попытки нагуглить хоть какой-нибудь веб-интерфейс для сислога приводят в основном в дебри топов коммерческих интерфейсов, среди которых, может, и есть бесплатные версии, но будьте любезны сами ковыряться и  разбираться насколько оно убого или нет, и какой функционал там порезан.

Мне же от вебморды много не надо — мне надо чтобы она лог показывала,  фильтры имела, и было бы неплохо чтобы составляла с сервером полностью FOSS-решение. И сам я давно уже использую под это дело LogAnalyzer, который с поставленной задачей — презентовать лог сислог-сервера, собирающего в базу данных логи с различного оборудования — справляется весьма неплохо.

И так как в целом задача развертывания сислог-сервера с веб-мордой не решается автоматически установкой какого-нибудь пакета в этом нашем дебиане, я решил во-первых написать скрипт, который сделает все за вас, ну а попутно еще расписать как в целом все это инсталлируется и настраивается руками.

Итак, скрипт писался и проверялся на Debian 10 «Buster», его актуальная версия находится на гитхабе, а текущую я оставлю здесь:

loganalyzer_install.sh
 
  1. #!/bin/bash
  2. # Syslog server with web interface for Debian 10
  3. # LAMP + phpmyadmin + rsyslog + Log Analyzer
  5. PHPMYADMINUSER="pma"
  6. PHPMYADMINPASS="321"
  7. SYSLOGDBPASSWORD="Qwerty"
  8. PMAVER="4.9.2"
  9. LAVERSION="4.1.7"
  11. export LANG="en_US.UTF-8"
  15. function check_packages {
  16.     notinstalled=""
  17.     if [ $# -eq 0 ]; then echo "Package name(s) required"; fi
  18.     if [ $# -gt 0 ]; then
  19.         for packagename in $@; do
  20.             if [[ "" == $(dpkg-query  -W --showformat='${Status}\n' ${packagename}  2>&1 | grep "install ok") ]]; then
  21.                 notinstalled=${notinstalled}${packagename}" "
  22.             fi
  23.         done
  24.     fi
  25.     if [[ "" == ${notinstalled} ]]; then
  26.         echo "true"
  27.     else
  28.         echo "${notinstalled}"
  29.     fi
  30. }
  34. ######## MARIA DB
  35. function check_sql {
  36.     if [[ "true" != $( check_packages  mariadb-server ) && "true" != $( check_packages  mysql-server) ]]; then
  37.         echo "false"
  38.     fi
  39.     if  [[ "true" == $( check_packages  mariadb-server ) ]]; then echo "mariadb"; fi
  40.     if  [[ "true" == $( check_packages  mysql-server ) ]]; then echo "mysql"; fi
  41. }
  43. function install_sql {
  44.     apt -y install mariadb-server
  45. #    mysql -uroot -e "UPDATE mysql.user SET Password=PASSWORD('${MYSQLROOTPASS}') WHERE User='root';\
  46. #    DELETE FROM mysql.user WHERE User='';\
  47. #    DELETE FROM mysql.user WHERE User='root' AND Host NOT IN ('localhost', '127.0.0.1', '::1');\
  48. #    DROP DATABASE test;\
  49. #    DELETE FROM mysql.db WHERE Db='test' OR Db='test\_%';\
  50. #    FLUSH PRIVILEGES;"
  51. }
  56. ######### PHP
  57. function check_php {
  58.     phpnotinstalled=$( check_packages php libapache2-mod-php php-mysql php-common php-cli  php-json php-gd php-opcache php-readline php-mbstring )
  59.     if [[ "true" != ${phpnotinstalled} ]]; then
  60.         echo "${phpnotinstalled}"
  61.     else
  62.         echo "true"
  63.     fi
  64. }
  67. ######### PHPMYADMIN
  68. function check_phpmyadmin {
  69.     if [[ ! -d /usr/share/phpmyadmin/ ]]; then
  70.         echo "false"
  71.     fi
  72. }
  74. function install_phpmyadmin {
  75. IFS='' read -r -d '' SITECONFIG  <<"EOF"
  76. Alias /phpmyadmin /usr/share/phpmyadmin
  78. <Directory /usr/share/phpmyadmin>
  79.     Options SymLinksIfOwnerMatch
  80.     DirectoryIndex index.php
  82.     <IfModule mod_php5.c>
  83.         <IfModule mod_mime.c>
  84.             AddType application/x-httpd-php .php
  85.         </IfModule>
  86.         <FilesMatch ".+\.php$">
  87.             SetHandler application/x-httpd-php
  88.         </FilesMatch>
  90.         php_value include_path .
  91.         php_admin_value upload_tmp_dir /var/lib/phpmyadmin/tmp
  92.         php_admin_value open_basedir /usr/share/phpmyadmin/:/etc/phpmyadmin/:/var/lib/phpmyadmin/:/usr/share/php/php-gettext/:/usr/share/php/php-php-gettext/:/usr/share/javascript/:/usr/share/php/tcpdf/:/usr/share/doc/phpmyadmin/:/usr/share/php/phpseclib/
  93.         php_admin_value mbstring.func_overload 0
  94.     </IfModule>
  95.     <IfModule mod_php.c>
  96.         <IfModule mod_mime.c>
  97.             AddType application/x-httpd-php .php
  98.         </IfModule>
  99.         <FilesMatch ".+\.php$">
  100.             SetHandler application/x-httpd-php
  101.         </FilesMatch>
  103.         php_value include_path .
  104.         php_admin_value upload_tmp_dir /var/lib/phpmyadmin/tmp
  105.         php_admin_value open_basedir /usr/share/phpmyadmin/:/etc/phpmyadmin/:/var/lib/phpmyadmin/:/usr/share/php/php-gettext/:/usr/share/php/php-php-gettext/:/usr/share/javascript/:/usr/share/php/tcpdf/:/usr/share/doc/phpmyadmin/:/usr/share/php/phpseclib/
  106.         php_admin_value mbstring.func_overload 0
  107.     </IfModule>
  109. </Directory>
  111. # Authorize for setup
  112. <Directory /usr/share/phpmyadmin/setup>
  113.     <IfModule mod_authz_core.c>
  114.         <IfModule mod_authn_file.c>
  115.             AuthType Basic
  116.             AuthName "phpMyAdmin Setup"
  117.             AuthUserFile /etc/phpmyadmin/htpasswd.setup
  118.         </IfModule>
  119.         Require valid-user
  120.     </IfModule>
  121. </Directory>
  123. # Disallow web access to directories that don't need it
  124. <Directory /usr/share/phpmyadmin/templates>
  125.     Require all denied
  126. </Directory>
  127. <Directory /usr/share/phpmyadmin/libraries>
  128.     Require all denied
  129. </Directory>
  130. <Directory /usr/share/phpmyadmin/setup/lib>
  131.     Require all denied
  132. </Directory>
  133. EOF
  136. if [ ! -f phpMyAdmin-${PMAVER}-all-languages.tar.gz ]; then wget https://files.phpmyadmin.net/phpMyAdmin/${PMAVER}/phpMyAdmin-${PMAVER}-all-languages.tar.gz; fi
  137. tar -xf phpMyAdmin-${PMAVER}-all-languages.tar.gz
  138. mkdir /usr/share/phpmyadmin
  139. cp -r phpMyAdmin-${PMAVER}-all-languages/* /usr/share/phpmyadmin
  140. mkdir -p /var/lib/phpmyadmin/tmp
  141. chown -R www-data:www-data /var/lib/phpmyadmin
  142. mkdir /etc/phpmyadmin/
  143. cp /usr/share/phpmyadmin/config.sample.inc.php  /usr/share/phpmyadmin/config.inc.php
  144. ln -s /usr/share/phpmyadmin/config.inc.php /etc/phpmyadmin/
  146. echo "\$cfg['TempDir'] ='/var/lib/phpmyadmin/tmp';" >> /usr/share/phpmyadmin/config.inc.php
  147. r="\$cfg\['blowfish_secret'\] = '"
  148. sed -i  "s/${r}/${r}$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 32)/g" /usr/share/phpmyadmin/config.inc.php
  152. echo "$SITECONFIG" >  /etc/apache2/sites-available/phpmyadmin.conf
  153. ln -s /etc/apache2/sites-available/phpmyadmin.conf /etc/apache2/sites-enabled/
  154. service  apache2 restart
  155. mysql -uroot -e "use mysql; CREATE USER ${PHPMYADMINUSER}@localhost IDENTIFIED BY '${PHPMYADMINPASS}'; GRANT ALL ON *.* TO ${PHPMYADMINUSER}@localhost WITH GRANT OPTION;"
  156. service mysql restart
  158. }
  161. ######### SYSLOG
  163. function install_rsyslog_mysql {
  164. debconf-set-selections << END
  165. rsyslog-mysql      rsyslog-mysql/mysql/admin-pass      password
  166. # MySQL application password for rsyslog-mysql:
  167. rsyslog-mysql      rsyslog-mysql/mysql/app-pass      password ${SYSLOGDBPASSWORD}
  168. rsyslog-mysql      rsyslog-mysql/password-confirm      password ${SYSLOGDBPASSWORD}
  169. rsyslog-mysql      rsyslog-mysql/app-password-confirm      password ${SYSLOGDBPASSWORD}
  170. # MySQL username for rsyslog-mysql:
  171. rsyslog-mysql      rsyslog-mysql/db/app-user      string      rsyslog@localhost
  172. # Back up the database for rsyslog-mysql before upgrading?
  173. rsyslog-mysql      rsyslog-mysql/upgrade-backup      boolean      true
  174. # Host running the MySQL server for rsyslog-mysql:
  175. rsyslog-mysql      rsyslog-mysql/remote/newhost      string
  176. # MySQL database name for rsyslog-mysql:
  177. rsyslog-mysql      rsyslog-mysql/db/dbname      string      Syslog
  178. # Reinstall database for rsyslog-mysql?
  179. rsyslog-mysql      rsyslog-mysql/dbconfig-reinstall      boolean      false
  180. rsyslog-mysql      rsyslog-mysql/missing-db-package-error      select      abort
  181. rsyslog-mysql      rsyslog-mysql/remote/port      string
  182. # Perform upgrade on database for rsyslog-mysql with dbconfig-common?
  183. rsyslog-mysql      rsyslog-mysql/dbconfig-upgrade      boolean      true
  184. # Host name of the MySQL database server for rsyslog-mysql:
  185. rsyslog-mysql      rsyslog-mysql/remote/host      select      localhost
  186. # Deconfigure database for rsyslog-mysql with dbconfig-common?
  187. rsyslog-mysql      rsyslog-mysql/dbconfig-remove      boolean      true
  188. # Database type to be used by rsyslog-mysql:
  189. rsyslog-mysql      rsyslog-mysql/database-type      select      mysql
  190. rsyslog-mysql      rsyslog-mysql/upgrade-error      select      abort
  191. rsyslog-mysql      rsyslog-mysql/remove-error      select      abort
  192. rsyslog-mysql      rsyslog-mysql/install-error      select      abort
  193. rsyslog-mysql      rsyslog-mysql/passwords-do-not-match      error
  194. rsyslog-mysql      rsyslog-mysql/internal/skip-preseed      boolean      false
  195. # Delete the database for rsyslog-mysql?
  196. rsyslog-mysql      rsyslog-mysql/purge      boolean      false
  197. # Connection method for MySQL database of rsyslog-mysql:
  198. rsyslog-mysql      rsyslog-mysql/mysql/method      select      Unix socket
  199. rsyslog-mysql      rsyslog-mysql/mysql/admin-user      string      root
  200. rsyslog-mysql      rsyslog-mysql/internal/reconfiguring      boolean      false
  201. # Configure database for rsyslog-mysql with dbconfig-common?
  202. rsyslog-mysql      rsyslog-mysql/dbconfig-install      boolean      true
  203. END
  204. DEBIAN_FRONTEND=noninteractive apt-get install -y rsyslog-mysql
  206. echo "Creating /etc/rsyslog.d/enable-remote.conf"
  207. echo "module(load=\"imudp\")" > /etc/rsyslog.d/enable-remote.conf
  208. echo "input(type=\"imudp\" port=\"514\")" >> /etc/rsyslog.d/enable-remote.conf
  209. echo "module(load=\"imtcp\")" >> /etc/rsyslog.d/enable-remote.conf
  210. echo "input(type=\"imtcp\" port=\"514\")" >> /etc/rsyslog.d/enable-remote.conf
  211. service rsyslog restart
  213. echo "17 2     * * *     root mysql -uroot -e 'use Syslog; DELETE FROM SystemEvents WHERE ReceivedAt < DATE_SUB(CURRENT_TIMESTAMP, INTERVAL 365 DAY);'" > /etc/cron.d/rsyslog_mysql
  215. #mysql -uroot -e "CREATE DATABASE Syslog_template;"
  216. #mysqldump -uroot Syslog > /tmp/sql.sql
  217. #mysql -uroot Syslog_template < /tmp/sql.sql
  218. #mysql -uroot -e "TRUNCATE TABLE Syslog_template.SystemEvents"
  219. }
  221. ######### LOG ANALYZER
  222. function install_loganalyzer {
  223. if [ ! -f loganalyzer-${LAVERSION}.tar.gz ]; then wget http://download.adiscon.com/loganalyzer/loganalyzer-${LAVERSION}.tar.gz; fi
  224. tar -xf loganalyzer-${LAVERSION}.tar.gz
  225. cp -r loganalyzer-${LAVERSION}/src/* /var/www/html/
  226. rm -rf ./loganalyzer-${LAVERSION}/
  227. rm /var/www/html/index.html
  228. chown www-data:www-data -R /var/www/html/
  230. #create new db for loganalyzer user and settings with rsyslog user as admin
  231. mysql -uroot -e "create database loganalyzer; grant all privileges on loganalyzer.* to rsyslog@localhost"
  233. #disable new version check during logon into admin panel
  234. r="\$content\['UPDATEURL'\] = \"http://loganalyzer.adiscon.com/files/version.txt\";"
  235. sed -i  "s|${r}|\$content\['UPDATEURL'\] = \"\";|g"  /var/www/html/include/functions_common.php
  236. }
  239. ####
  240. ## MAIN
  241. ####
  242. instaldebconf="false"
  243. installmariadb="false"
  244. installapache="false"
  245. installphp="false"
  246. instalphpmyadmin="false"
  247. installrsyslog="false"
  250. printf "Checking debconf-utils..."
  251. check=$( check_packages debconf-utils )
  252. if [[ $check != "true" ]]; then
  253.     echo "......will be installed"
  254.     instaldebconf="true"
  255. else
  256.     echo "......found!"
  257. fi
  259. printf "Checking sql..."
  260. check=$( check_sql )
  261. case ${check} in
  262.     false)
  263.         echo "................will be installed: MariaDB"
  264.         installmariadb="true"
  265.         ;;
  266.     mysql)
  267.         echo "................MySQL found, it will be used during installation"
  268.         ;;
  269.     mariadb)
  270.         echo "................MariaDB found, it will be used during installation"
  271.         ;;
  272. esac
  274. printf "Checking apache..."
  275. check=$( check_packages apache2 )
  276. if [[ $check != "true" ]]; then
  277.     echo ".............will be installed"
  278.     installapache="true"
  279. else
  280.     echo ".............found!"
  281. fi
  284. printf "Checking php..."
  285. check=$( check_php )
  286. if [[ $check != "true" ]]; then
  287.     echo "................will be installed: ${check}"
  288.     installphp="true"
  289.     phptoinstall=${check}
  290. else
  291.     echo "................found!"
  292. fi
  294. printf "Checking rsyslog-mysql..."
  295. check=$( check_packages rsyslog-mysql )
  296. if [[ $check != "true" ]]; then
  297.     echo "......will be installed"
  298.     installrsyslog="true"
  299. else
  300.     echo "......found!"
  301. fi
  304. printf "Checking phpmyadmin..."
  305. check=$( check_phpmyadmin )
  306. if [[ $check == "false" ]]; then
  307.     echo ".........not found in /usr/share/phpmyadmin/"
  308.     echo
  309.     while true; do
  310.         read -p "Do you wish to install phpmyadmin? (y/n): " yn
  311.         case $yn in
  312.             [Yy] ) instalphpmyadmin="true"; break;;
  313.             [Nn] ) break;;
  314.             * ) echo "Please answer [y]es or [n]o.";;
  315.         esac
  316.     done
  317. else
  318.     echo ".........found!"
  319. fi
  322. echo
  323. echo "This file(s) should be downloaded:"
  324. if [[ ${instalphpmyadmin} != "false" ]]; then echo "https://files.phpmyadmin.net/phpMyAdmin/${PMAVER}/phpMyAdmin-${PMAVER}-all-languages.tar.gz" ; fi
  325. echo "http://download.adiscon.com/loganalyzer/loganalyzer-${LAVERSION}.tar.gz"
  326. echo "You can place this file(s) into current directory manually if you have not an Internet connection."
  327. echo "Debian repository must be accessible!"
  329. echo
  330. read -p "Ok, let's do it. Press ENTER to install, CTRL-C - to abort."
  334. # INSTALL
  335. apt update
  336. if [[ ${instaldebconf} != "false" ]]; then apt -y install debconf-utils ; fi
  337. if [[ ${installmariadb} != "false" ]]; then install_sql ; fi
  338. if [[ ${installapache} != "false" ]]; then apt -y install apache2 ; fi
  339. if [[ ${installphp} != "false" ]]; then  apt -y install ${phptoinstall} ; fi
  340. if [[ ${installrsyslog} != "false" ]]; then  install_rsyslog_mysql  ; fi
  342. installrsyslog
  343. if [[ ${instalphpmyadmin} != "false" ]]; then install_phpmyadmin ; fi
  344. install_loganalyzer
  346. serverip=$(ip addr show | grep -o "inet [0-9]*\.[0-9]*\.[0-9]*\.[0-9]*" | grep -o "[0-9]*\.[0-9]*\.[0-9]*\.[0-9]*" | grep -v "^127.0.0.1" | head -n 1)
  347. echo
  348. echo
  349. echo Installation complete
  350. echo
  351. if [[ ${instalphpmyadmin} != "false" ]]; then
  352.     echo "phpmyadmin address: http://${serverip}/phpmyadmin"
  353.     echo "             login:${PHPMYADMINUSER}"
  354.     echo "          password:${PHPMYADMINPASS}"
  355.     echo
  356. fi
  357. echo "Open IP address of this server in web-browser (http://${serverip}/)"
  358. echo and use next settings for wizard:
  359. echo
  360. echo "User Database Options (optional)"
  361. echo "Enable User Database: Yes"
  362. echo "       Database User: rsyslog"
  363. echo "   Database Password: ${SYSLOGDBPASSWORD}"
  364. echo
  365. echo "First Syslog Source"
  366. echo "                        Source Type: MYSQL Native"
  367. echo "     Database Name (case-sensitive): Syslog"
  368. echo "Database Tablename (case-sensitive): SystemEvents"
  369. echo "                      Database User: rsyslog"
  370. echo "                  Database Password: ${SYSLOGDBPASSWORD}"
  371. echo "                Enable Row Counting: No"

 

Лучше всего использовать его на свежеустановленном дебиане в минимальной конфигурации. Перед запуском нужно его отредактировать, изменив пароль для создаваемого в процессе пользователя (базы данных) rsyslog, а также логин и пароль дополнительного администратора БД, который будет создан в случае установки (опциональной) PhpMyAdmin.  Всего скрипт установит:

  1. mariadb в качестве сервера баз данных,
  2. rsyslog с коннектором rsyslog-mysql в качестве сислог сервера, и создаст конфиг для приема логов по сети
  3. веб-сервер apache
  4. опционально phpmyadmin для управления базой данных
  5. LogAnalyzer.

После завершения работы скрипта останется пройти мастера настройки LogAnalyzer, перейдя в браузере по адресу вашего сервера. Так что если вы решите его использовать, то можете листать к разделу «Настройка LogAnalyzer», а также посмотреть наглядное видео:

Настройка сервера syslog с веб-интерфейсом и хранением логов в базе данных (на Debian 10 «buster»)

Установка debian

Для наших целей подойдет установленный в минимальной конфигурации дебиан. Идеально сразу при установке поставить LAMP-набор, отметив опцию web server

Но можно обойтись пунктом standard system utilities, а все остальное установить самостоятельно. Я буду исходить из этого варианта.

Установка базы данных MariaDB

 
 
  1. apt update && apt -y install mariadb-server

Установка веб-сервера apache

 
 
  1. apt -y install apache2

Установка необходимых модулей PHP

 
 
  1. apt -y install php libapache2-mod-php php-mysql php-common php-cli php-json php-gd php-opcache php-readline php-mbstring

Установка rsyslog

 
 
  1. apt -y rsyslog-mysql

В процессе установки соглашаемся сконфигурировать базу данных

Придумываем и подтверждаем пароль для пользователя «rsyslog» БД

После того как сислог будет установлен, его нужно сконфигурировать так, чтобы он мог принимать события с сетевого оборудования. Создаем файл /etc/rsyslog.d/enable-remote.conf с таким содержанием:

/etc/rsyslog.d/enable-remote.conf
 
  1. module(load="imudp")
  2. input(type="imudp" port="514")
  3. module(load="imtcp")
  4. input(type="imtcp" port="514")

И перезагружаем сервис

 
 
  1. service rsyslog restart

Установка веб-интерфейса (LogAnalyzer)

Скачиваем и распаковываем файлы в директорию веб-сервера:

 
 
  1. wget http://download.adiscon.com/loganalyzer/loganalyzer-4.1.7.tar.gz
  2. tar -xvf loganalyzer-4.1.7.tar.gz
  3. rm loganalyzer-4.1.7.tar.gz
  4. cp -r loganalyzer-4.1.7/src/* /var/www/html/
  5. rm /var/www/html/index.html
  6. chown www-data:www-data -R /var/www/html/

Перед тем как перейти мастеру настройки, создадим еще одну одну базу, в которой лог аналайзер будет хранить свои настройки, и дадим пользователю rsyslog полные права на нее

 
 
  1. mysql -uroot -e "create database loganalyzer; grant all privileges on loganalyzer.* to rsyslog@localhost"

Настройка LogAnalyzer

Теперь к мастеру. Перейдя в браузере по адресу сервера мы должны увидеть его приглашение создать конфиг

Первые два шага пропускаем, интересное  начинается с третьего. Здесь нужно выбрать Enable User Database и ввести имя пользователя (rsyslog)  и пароль с которыми будет производиться подключение к созданной нами базе «loganalyzer». Остальные настройки можно оставить по умолчанию.

На шестом шаге создаем внутреннего администратора лог аналайзера

На следующем шаге выбираем источник данных — базу rsyslog\’а. Важные пункты, которые будет нужно здесь изменить:

  1. Source Type — MYSQL Native
  2. Database Name — Syslog (была создана при установке rsyslog-mysql)
  3. Database Tablename — SystemEvents (именно так — с большими буквами, а не как по дефолту)
  4. Database User — rsyslog
  5. Database Password — пароль юзера rsyslog
  6. Enable Row Counting — No (при объеме логов в несколько гигабайт этот подсчет приводит к более чем минутным запросам к БД)

Next, Finish и перед нами интерфейс лог аналайзера

Тюнинг

Теперь остается сделать две довольно важные вещи.

Во-первых, при попытке логина в админку, лог аналайзер пытается проверить свое собственное обновление, и это приводит к длительному ожиданию, если сервер не имеет выхода в интернет. Чтобы этого не происходило — нужно отредактировать файл /var/www/html/include/functions_common.php, изменив строку

 
 
  1. $content['UPDATEURL'] = "http://loganalyzer.adiscon.com/files/version.txt";

на

 
 
  1. $content['UPDATEURL'] = "";

Второе, и не менее важное. Со временем база сислога будет опухать, поэтому ее стоит периодически очищать от старых записей. Для этого нужно создать файлик /etc/cron.d/rsyslog_mysql с содержимым

 
 
  1. 23 2     * * *     root mysql -uroot -e 'use Syslog; DELETE FROM SystemEvents WHERE ReceivedAt < DATE_SUB(CURRENT_TIMESTAMP, INTERVAL 365 DAY);'

С ним каждый день из базы будут удаляться записи старше 365 дней (разумеется это количество можно поправить на необходимое)