rsyslog 存储到 mysql

输出Host1/2的系统日志, 记录到mysql服务器数据库中, 并发布loganalyzer

结构关系如下图:

准备工作:

  1. VMware

  2. CentOS 7 最小系统安装镜像

  3. loganalyzer源码包 下载

  4. 安装三台主机, 拷贝loganalyzer到MariaDB主机

IP地址与主机对应关系表:

MariaDB主机 192.168.142.128/24
HOST1 192.168.142.135/24
HOST2 192.168.142.141/24

MariaDB服务器操作:

  1. yum -y install mariadb mariadb-server httpd php php-mysql php-gd#安装mysql服务端, httpd服务端, php --> php-gd 是 loganalyzer 需要使用的systemctl start mariadb
  2. 登陆mysql 
    1. mysql -uroot -p  登陆;
    2. GRANT ALL ON Syslog.* TO ‘sysloguser‘@‘192.168.142.%‘ INDENTIFIED BY ‘123456‘; FLUSH PRIVILEGES;

      建立 rsyslog 数据库账号并授权;

      • 注意: 此处Syslog数据库并不需要我们自己建立, 在HOST1/2上安装rsyslog-mysql后, 会有一个 sql 脚本, 该数据库及表由 此脚本 建立, 后文有提到

  3. 编辑mysql配置文件
  4. vim /etc/my.cnf
    
    ###添加如下项目
    
    skip_name_resolve = on
    innodb_file_per_table = on
    
    ####保存退出, 重启服务
    systemctl restart mariadb

HOST1/2 操作:

  1. yum -y install rsyslog-mysql mariadb# 安装mysql模块, 安装mysql客户端mysql -usysloguser -p123456 -h192.168.142.128# 测试是否可以连接上 --> 如果连接失败, 在mariadb服务器端重做授权; 检查服务器的防火墙和selinux是否关闭
  2. 查看rsyslog-mysql 这个包相关文件等:

    [[email protected] ~]# rpm -ql rsyslog-mysql
    /usr/lib64/rsyslog/ommysql.so --> rsyslog模块
    /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql --> 此sql脚本即为上文提到的, rsyslog-mysql这个包提供的 建库脚本

  3. 通过输入重定向的方式, 安装上述sql脚本:

    mysql -usysloguser -h192.168.142.128 -p < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql

    检查库建立是否成功:

  4. 编辑 /etc/rsyslog.conf 配置文件

    vim /etc/rsyslog.conf
        ####MODULES####
        $ModLoad ommysql      --> 加载ommysql模块以支持功能
    
        ####RULES####
        *.info;mail.none;       :ommysql:192.168.142.128,Syslog,sysloguser,123456
  5. 重启rsyslog服务 systemctl restart rsyslog

回到MariaDB服务器, 部署 loganalyzer

  • mysql -uroot -p -->连接查看是否记录成功
MariaDB [(none)]> use Syslog
MariaDB [Syslog]> SELECT * FROM SystemEvents\G;

  1. 测试httpd, php, php-mysql 是否配置成功 --> 参见上一篇

    • 这里碰到一个问题:sysloguser 1045拒绝登陆;root可以登陆; 解决办法: 删除所有空密码用户;

      -21-[[email protected]]16:07 ~ # mysql -usysloguser -h192.168.142.128 -p
      Enter password:
      ERROR 1045 (28000): Access denied for user ‘sysloguser‘@‘vm‘ (using password: YES)

  2. 部署loganalyzer
    1. 下载资源包, 解压
    2. 我们需要 ./contrib 下的两个脚本, 以及./src 下的全部文件

      -44-[[email protected]]16:18 ~/loganalyzer-4.1.6 # ls
      ChangeLog  contrib  COPYING  doc  INSTALL  src
      -45-[[email protected]]16:18 ~/loganalyzer-4.1.6 # cp -r ./src /var/www/html/log
      -46-[[email protected]]16:20 ~/loganalyzer-4.1.6 # cd /var/www/html/log
      -47-[[email protected]]16:20 /var/www/html/log # ls
      admin               chartgenerator.php  cron         export.php   include      js         reportgenerator.php  statistics.php  userchange.php
      asktheoracle.php    classes             css          favicon.ico  index.php    lang       reports.php          templates
      BitstreamVeraFonts  convert.php         details.php  images       install.php  login.php  search.php           themes
      -48-[[email protected]]16:20 /var/www/html/log # cd -
      /root/loganalyzer-4.1.6
      -49-[[email protected]]16:20 ~/loganalyzer-4.1.6 # ls
      ChangeLog  contrib  COPYING  doc  INSTALL  src
      -50-[[email protected]]16:20 ~/loganalyzer-4.1.6 # cp ./contrib/*.sh /var/www/html/log
      -51-[[email protected]]16:21 ~/loganalyzer-4.1.6 # cd -
      /var/www/html/log
      -52-[[email protected]]16:21 /var/www/html/log # ls
      admin               chartgenerator.php  convert.php  details.php  images     install.php  login.php            search.php      templates
      asktheoracle.php    classes             cron         export.php   include    js           reportgenerator.php  secure.sh       themes
      BitstreamVeraFonts  configure.sh        css          favicon.ico  index.php  lang         reports.php          statistics.php  userchange.php
      -53-[[email protected]]16:21 /var/www/html/log # chmod +x *.sh
      -54-[[email protected]]16:21 /var/www/html/log # ./configure.sh
      -55-[[email protected]]16:21 /var/www/html/log # ./secure.sh
      -56-[[email protected]]16:21 /var/www/html/log # chmod -x *.sh
      -57-[[email protected]]16:21 /var/www/html/log # touch config.php;chmod 666 config.php
    3. 直接访问192.168.142.128/log 
    4. 直接点击Click here   开始安装
    5. 在第三步(Step 3),可以勾选, 并使用mysql做 loganalyzer 的用户数据库; 我们这里做测试就直接跳过了
    6. Step 7

      • 请务必使用chrome, 点击MYSQL Native后, IE/ EDGE/ 360浏览器不会弹出下面的数据库选项框;

    7. 搞定

总结:

  1. 使用纯洁的虚拟机安装; 这次偷懒, 上次用完httpd实验后接着使用, 出现了mysql报错的问题;

  2. 360浏览器垃圾, 浪费我半个小时;

  3. 不要怕玩坏了, 大不了重装, 反正ks文件做好了, 装系统又不用咱动手

原文地址:https://www.cnblogs.com/gettolive/p/9193228.html

时间: 2024-10-11 04:29:27

rsyslog 存储到 mysql的相关文章

webmagic自定义存储(mysql、redis存储)

在很多时候,我们使用webmagic爬取网站的时候,爬取的数据希望存储在mysql.redis中.因此需要对其扩展,实行自定义PipeLine.首先我们了解一下webmagic 的四个基本组件 一. WebMagic的四个组件 1.Downloader Downloader负责从互联网上下载页面,以便后续处理.WebMagic默认使用了HttpClient作为下载工具. 2.PageProcessor PageProcessor负责解析页面,抽取有用信息,以及发现新的链接.WebMagic使用J

[python爬虫] Selenium爬取内容并存储至MySQL数据库

前面我通过一篇文章讲述了如何爬取CSDN的博客摘要等信息.通常,在使用Selenium爬虫爬取数据后,需要存储在TXT文本中,但是这是很难进行数据处理和数据分析的.这篇文章主要讲述通过Selenium爬取我的个人博客信息,然后存储在数据库MySQL中,以便对数据进行分析,比如分析哪个时间段发表的博客多.结合WordCloud分析文章的主题.文章阅读量排名等.        这是一篇基础性的文章,希望对您有所帮助,如果文章中出现错误或不足之处,还请海涵.下一篇文章会简单讲解数据分析的过程. 一.

Python2爬虫获取的数据存储到MySQL中时报错&quot;Incorrect string value: &#39;\\xE6\\x96\\xB0\\xE9\\x97\\xBB&#39; for column &#39;new&#39; at row 1&quot;的解决办法

由于一直使用python3进行编码,在使用Python2时,将爬虫数据连接数据库进行存储时,出现如上的报错,经查资料 是数据库编码问题. 如下转自:http://www.cnblogs.com/liuzhixin/p/6274821.html 的博客,在此感谢博主的慷慨分享之情. 错误原因:我们可以看到错误提示中的字符0xF0 0x9F 0x98 0x84 ,这对应UTF-8编码格式中的4字节编码(UTF-8编码规范).正常的汉字一般不会超过3个字节,为什么为出现4个字节呢?实际上是它对应的是智

hive的本地安装部署,元数据存储到mysql中

要想使用Hive先要有hadoop集群的支持,使用本地把元数据存储在mysql中. mysql要可以远程连接: 可以设置user表,把localhost改为%,所有可连接.记住删除root其他用户,不然可能会有影响 update user set host='%' where host='localhost'; Hive的安装部署: 1.解压tar文件 2.修改文件: 修改conf/下面的文件: cp hive-env.sh.tempalte hive-env.sh 配置hive-env.sh文

用scrapy爬取ttlsa博文相关数据存储至mysql

运维生存时间这个博客内容还是比较详尽的,对与运维技术人员的我来说,是偶尔溜达进来的地方,从中也学习到不少知识,感谢博主的奉献! 这段时间我就通过scrapy来收集下此博客内文章的相关数据,供以后需要从中提取我认为值得看的文章作为数据依据. 今天,要做的事就是把数据先抓取出来,后期再将其数据存储起来. 首先通过命令scrapy genspider ttlsa www.ttlsa.com创建一个蜘蛛程序应用名为ttlsa 其次在ttlsa.py下编写如下代码. # -*- coding: utf-8

rsyslog日志存储于MySQL中

一.安装程序和组件 系统为CentOS6.6 # yum install httpd php php-mysql php-gd mysql mysql-server rsyslog-mysql 二.准备相关配置并测试环境 1.启动http,mysql服务 # service mysqld start # chkconfig mysqld on # service httpd start # chkconfig httpd on # vim  /var/www/html/index.php 2.创

Ubuntu下rsyslog集中收集mysql审计日志

服务端 1.安装最新版本rsyslog sudo apt-get install software-properties-common python-software-properties sudo add-apt-repository ppa:adiscon/v8-stable sudo apt-get update sudo apt-get install rsyslog 2.配置目录存储mysql审计日志 vim /etc/rsyslog.d/50-default.conf # add:

***mysql中经度纬度字段用什么存储(关于mysql的float和decimal区别)

float,decimal精确度比较 float,double容易产生误差,对精确度要求比较高时,建议使用decimal来存,decimal在mysql内存是以字符串存储的, 用于定义货币要求精确度高的数据.在数据迁移中,float(M,D)是非标准定义,最好不要这样使用.M为精度,D为标度. mysql>  create table t1(c1 float(10,2), c2 decimal(10,2),c3 float); // 10不包括小数点 mysql>  insert into t

使用HtmlAgilityPack爬取网站信息并存储到mysql

前言:打算做一个药材价格查询的功能,但刚开始一点数据都没有靠自己找信息录入的话很麻烦的,所以只有先到其它网站抓取存到数据库再开始做这个了. HtmlAgilityPack在c#里应该很多人用吧,简单又强大.之前也用它做过几个爬取信息的小工具.不过很久了源代码都没有了,都忘了怎么用了,这次也是一点一点找资料慢慢做出来的! (不过最麻烦的是将数据存到mysql,.net数据库我一直用的都是mssql,所以第一次做连接mysql遇到了好多问题.) 1.使用HtmlAgilityPack 下载HtmlA