使用packetbeat 采集mysql数据

实验环境: CentOS 6.7 X86_64

ELK版本:5.6.0

实验机器IP: 10.0.20.25

大部分操作及ELK语法这里我都省略掉了。

搭建ELK

这里实验方便起见,我只用一台主机演示,因此是单节点的ES。

直接到官方网站下载rpm包然后传到服务器上,yum安装即可

yum install elasticsearch-5.6.0.rpm kibana-5.6.0-x86_64.rpm logstash-5.6.0.rpm

vim /etc/elasticsearch/elasticsearch.yml修改后的如下(未修改的地方没有列出来):

cluster.name: my-application

network.host: 10.0.20.25

http.port: 9200

## 在centos6系列上安装ELK5.6需要加上下面2行代码,不然ES启动会失败

bootstrap.system_call_filter: false

bootstrap.memory_lock: false

vim /etc/logstash/logstash.yml   这里实验环境,我没有做任何改动,使用的默认配置参数。

path.data: /var/lib/logstash

path.config: /etc/logstash/conf.d

path.logs: /var/log/logstash

vim/etc/kibana/kibana.yml修改后的如下(未修改的地方没有列出来):

server.port: 5601

server.host: "10.0.20.25"

elasticsearch.url: "http://10.0.20.25:9200"

另外,实际生产环境的ESlogstash 最好修改下JVM的参数配置。

安装packetbeat

rpm -ivh packetbeat-5.6.0-x86_64.rpm

vim /etc/packetbeat/packetbeat.yml

packetbeat.interfaces.device:any

packetbeat.protocols.mysql:

ports: [3306]

send_request: true

transaction_timeout: 30s

output.elasticsearch:

hosts: ["10.0.20.25:9200"]

work: 1

bulk_max_size: 50

timeout: 90

flush_interval: 1s

template.enabled: true

template.name: "packetbeat.template"

template.overwrite: false

index: test-mysql-%{+yyyy.MM.dd}

然后执行:

curl -XPUT‘http://10.0.20.25:9200/_template/packetbeat‘  [email protected]/etc/packetbeat/packetbeat.template.json

将模板上传到ES里面。

!!如果忘记这一步,先到es里把当天的index删除(curl -XDELETE‘http://10.0.20.25:9200/test-mysql-2017.09.23‘?pretty),再重启启动beat!!

!!如果自定义了index名称,需要修改/etc/packetbeat/packetbeat.template.json中最后一行的对应的名称再post启动:

然后可以使用命令 curl -XGET‘http://10.0.20.25:9200/_template/packetbeat‘?pretty  检查目前ES里存在哪些模板

/etc/init.d/packetbeat start  启动Packetbeat抓包工具

稍等片刻,可以使用 curl -XGET‘http://10.0.20.25:9200/test-mysql-2017.09.23/_search?pretty‘ 查看ES里面是否有采集到数据。

到http://10.0.20.25:5601里面,添加索引,名称为 test-mysql-*

可以看到已经采集到数据了,如下图:

时间: 2024-10-10 02:54:14

使用packetbeat 采集mysql数据的相关文章

C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

转自原文C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子) 阅读目录 1.HtmlAgilityPack简介 2.XPath技术介绍与使用 3.采集天气网站案例 4.资源 第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel,是真尼玛的累,虽然那个时候C#还很菜,也想能不能通过程序来批量获取(所以平时想法要多才好).几

java对MySql数据访问

终于解决了所有困难,通过java程序实现对MySql数据的访问,其中有许多困难,尤其对于一个新接触JDBC编码来说,每一次的错误都让人有些摸不着头脑,趁现在对一些产生的问题还记得,帮大家记录下来. 1.首先通过上篇对MySql环境的一些配置,?需要先学习一些MySql基本语法,在MySql中创建新的数据库:MySql语法:create database if not exists 数据库名;然后在其中加入你所需要存储的数据. 2.第二种方法:在.sql文本中添加MySql语法通过cmd命令提示符

使用Solr索引MySQL数据

环境搭建 1.到apache下载solr,地址:http://mirrors.hust.edu.cn/apache/lucene/solr/ 2.解压到某个目录 3.cd into D:\Solr\solr-4.10.3\example 4.Execute the server by “java -jar startup.jar”Solr会自动运行在自带的Jetty上 5.访问http://localhost:8983/solr/#/ 创建MySQL数据 DataBase Name: mybat

mysql数据导入到sqlite数据

在做程序时,sqlite数据很方便.用mysql数据导出到sqlite的步骤:(用csv文件过渡) -------------------------------  先导出到csv文件  ------------------------- 1.用navicat软件将mysql数据导出到txt文件. 2.注意选择“包含列标题”(字段名).“栏位定界符”(csv文件使用逗号). 3.把所有的txt文件转换为utf-8编码. 4.写一个rename.bat(ren *.txt *.csv),全部统一改

PHP导出MySQL数据到Excel文件

PHP导出MySQL数据到Excel文件 转载 常会碰到需要从数据库中导出数据到Excel文件,用一些开源的类库,比如PHPExcel,确实比较容易实现,但对大量数据的支持很不好,很容易到达PHP内存使用上限.这里的方法是利用fputcsv写CSV文件的方法,直接向浏览器输出Excel文件. ? 1 <br><!--?php// 输出Excel文件头,可把user.csv换成你要的文件名header('Content-Type: application/vnd.ms-excel');he

Linux 根分区空间不足,mysql数据占用过大

背景:ZABBIX(Centos 6.2 X64)监控服务器在安装的时候规划不好,根分区不够大只有33G,使用率已经到达98% ,经过使用 #du –sm检查发现原因是mysql下的ibdata1占用了32G. 优化变得刻不容缓,就在本机而言mysql 迁移有两种方法 . 第一种是修改.../etc/my.conf 等设定 第二种是软连接的方法 . 连接相对简单,快捷故选择第二种方法 关闭服务器,添加一个新的虚拟硬盘到虚拟机. 查看新的硬盘 # fdisk –l 创建新的分区 # fdisk /

mysql 数据插入、更新、删除

(1).数据插入insert 语法:insert into 表名 (字段名称1, 字段名称2,n,)values('值1','值2','值3') 举例说明: create table gonda( user_id int, user_name varchar(15), old int, address varchar(50)); 标准数据插入: insert into gonda(user_id,user_name,old,address) values('111','alvin','2000'

mysql数据迁移

一. 数据迁移简介所谓的数据迁移,就是指将原有的数据库系统迁移到另外一个业务系统上数据迁移的原因是多种多样的,有可能是业务变更.硬件升级.平台切换或升级mysql数据库 迁移的注意事项:(1).相同版本可以迁移(2).注意版本可以使用的引擎(3).低版本可以向高版本进行数据迁移,高版本一般兼容低版本的特性(4).高版本的数据不能向低版本进行数据迁移,会出现数据不兼容的情况(5).迁移是请注意导出数据和备份数据,出现迁移失败时,立即启动备份方案,保证公司业务的正常运行(6).在数据迁移时,要选择用

10.Solr4.10.3数据导入(DIH全量增量同步Mysql数据)

转载请出自出处:http://www.cnblogs.com/hd3013779515/ 1.创建MySQL数据 create database solr; use solr; DROP TABLE IF EXISTS student; CREATE TABLE student ( id char(10) NOT NULL, stu_name varchar(50) DEFAULT NULL, stu_sex int(1) DEFAULT NULL, stu_address varchar(20