在Windows平台下Elasticsearch同步MySql数据库

我是用ElasticSearch的版本是elasticsearch-6.3.1

mysql的数据是5.7的,其实这个关系不大。

logstash版本是6.3.1

ElasticSearch的插件elasticsearch-head-master  ,现在加压好了,直接放在ElasticSearch目录下面就好了,这不强制。

这个是mysql的数据库连接驱动程序 mysql--connector-java-5.1.18.zip

因为使用了ElasticSearch这个插件所以还需要安装nondjs,因为需要用的npm

1:先启动ElasticSearch

安装ElasticSearch的插件,直接双击/bin/ElasticSearch.bat ,启动成功后:http://127.0.0.1:9200/

2:安装,启动ElasticSearch插件

运行head需要借助grunt命令,因此需要安装grunt。所以先要安装nodejs,双加exe就可以了。然后cmd命令,node -v,如果出现版本号,说明安装成功。

然后安装grunt,npm install -g grunt  -cli ,如果在不行,就cd到nodejs的安装目录下执行这个命令。

grunt安装好了之后,在cd到你解压好的elasticsearch-head-master这个目录下面(和bin同级的那个目录)执行npm install,这里如果失败了请参考:https://blog.csdn.net/qq3401247010/article/details/78742524

启动 cd到你解压的head目录下,bin同级,执行npm run start ,执行成功后 :http://localhost:9100/

3,首先在logstash目录下面建一个lib,把你现在的mysql的连接驱动jar包放进去

建一个sql文件,我的是建jdbc.sql,里面是你要同步的数据表的sql语句,

SELECT
id,
sys_log_level,
project_name,
function_name,
sys_log_msg,
create_time
FROM
log_sys
ORDER BY
create_time DESC

这些东西都准备好了之后,修改logstash的配置文件,不是config文件夹下面的那个。上面的图中看得到就是logstash.conf

input {
	tcp {
		port=>5549
	}
	jdbc{
		jdbc_connection_string => "jdbc:mysql://192.168.2.104:33060/ygsc_scm?useSSL=false&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull"
		jdbc_user => "tt"
		jdbc_password => "2344WsL1JrUntER2Zns32WmGwr"
		jdbc_driver_library => "lib\mysql-connector-java-5.1.18-bin.jar"
		jdbc_driver_class => "com.mysql.jdbc.Driver"
		jdbc_paging_enabled => "true"
		jdbc_page_size => "50000"
		statement_filepath => "jdbc.sql"
		schedule => "* * * * *"
		type => "jdbc"
	}
}
output {
	elasticsearch {
		index => "testdb"
		document_type => "%{type}"
		hosts => ["localhost:9200"]
	}
}

  

这些logstash的准备工作都做好了之后,修改logstash 文件夹下Gemfile文件,将source改为:https://gems.ruby-china.org,然后进入logstash的bin目录,执行logstash-plugin install logstash-input-jdbc 这里如果有问题,请参考:https://blog.csdn.net/yowrhihoil/article/details/79568743,安装插件然后进入bin目录下执行logstash.bat -f  ogstash.conf,就可以启动起来了。

后面会把这启动项目做成服务的那种。就不用每次点击bat或者输入命令来启动了。

原文地址:https://www.cnblogs.com/yangkangIT/p/9318949.html

时间: 2024-11-07 06:17:27

在Windows平台下Elasticsearch同步MySql数据库的相关文章

Elasticsearch学习-----第二章 windows环境下Elasticsearch同步mysql数据库

在上一章中,我们已经能够通过spring boot来使用Elasticsearch,但是由于我们习惯性的将数据写入mysql,所以为了解决这个问题,Elasticsearch为我们提供了一个插件logstash来同步我们的数据库.本文所有的安装环境和使用环境都是在windows系统下进行的. 一.logstash的安装 首先在官网上下载logstash: logstash下载地址:https://www.elastic.co/downloads/logstash 需要注意的是logstash的版

使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch

本文介绍如何使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch. 1.go-mysql-elasticsearch简介 go-mysql-elasticsearch是一个将MySQL数据自动同步到Elasticsearch的服务. 它首先使用mysqldump获取原始数据,然后用binlog增量地同步数据. github地址:https://github.com/siddontang/go-mysql-elasticsearch 这里有几点注意事

windows平台下的oracle ORA-01031的解决方法

今天下午遇到一个很怪异的问题,在windows平台下sqlplus  / as sysdba登陆数据库,提示权限不足, 当时就纳闷了,sys用户登陆数据库还能权限不足,问题出现了,就开始寻找解决方法呗 首先查看$ORACLE_HOME/network/admin/sqlnet.ora中SQLNET.AUTHENTICATION_SERVICES项的配置信息, 网上的大多数帖子一致结论为: 在windows平台上,SQLNET.AUTHENTICATION_SERVICES必须设置为NTS或者AL

Windows平台下PHP开发环境的配置

Windows平台下PHP开发环境的配置 一.基本环境 1.Windows XP 32位 2.Apache 2.2.25,下载地址:http://mirror.bit.edu.cn/apache/httpd/binaries/win32/httpd-2.2.25-win32-x86-openssl-0.9.8y.msi 3.PHP 5.2.17,下载地址:http://windows.php.net/downloads/releases/archives/php-5.2.17-Win32-VC6

【ElasticSearch】---ElasticSearch同步Mysql

ElasticSearch同步Mysql 先讲项目需求:对于资讯模块添加搜索功能 这个搜索功能我就是采用ElasticSearch实现的,功能刚实现完,所以写这篇博客做个记录,让自己在记录下整个步骤和过程中的一些注意事项. 一.安装elasticsearch和可视化工具 有关整个教程参考:mac安装elasticsearch和可视化工具 1.安装elasticsearch 网址地址:官网 2.安装elasticsearch-head(可视化界面) 安装地址:https://github.com/

Windows平台下Oracle监听服务启动过程中日志输出

Windows平台下Oracle监听服务启动过程中日志输出记录. 日志目录:D:\app\Administrator\diag\tnslsnr\WIN-RU03CB21QGA\listener\trace\listener.log 日志输出内容: Sat Aug 06 20:38:44 2016 系统参数文件为D:\app\Administrator\product\11.2.0\dbhome_1\network\admin\listener.ora 写入d:\app\administrator

Windows平台下Oracle实例启动过程中日志输出

Windows平台下Oracle实例启动过程中日志输出记录. 路径:D:\app\Administrator\diag\rdbms\orcl\orcl\trace\alert_orcl.log 输出内容: Sat Aug 06 20:39:55 2016 Starting ORACLE instance (normal) LICENSE_MAX_SESSION = 0 LICENSE_SESSIONS_WARNING = 0 Picked latch-free SCN scheme 3 Usin

Windows 平台下Git 服务器搭建

由于项目中一直在使用git作为版本管理,自己对git的理解.使用都还不是怎么的熟悉,所以准备深入了解一下git及一些常用命令的使用,于是干脆把服务端架上,通过自己的PC作为服务端同时作为客户端的角色进行折腾了...本文主要介绍在Windows平台下Git服务器的搭建,如下: 一:下载java,地址:http://www.java.com/zh_CN/ 二:安装Java.安装步骤不再详述. 三:配置Java环境变量. 右键 计算机->属性->高级系统设置->高级->环境变量->

Windows平台下Git服务器搭建

该文章转自:http://www.codeceo.com/article/windows-git-server.html 第一步:下载Java,下载地址:http://www.java.com/zh_CN/ 第二步:安装Java.安装步骤不再详述. 第三步:配置Java环境变量. 右键”计算机” => ”属性” => ”高级系统设置” => ”高级” => “环境变量” => “系统变量”. 新建: 变量名:JAVA_HOME 变量值:D:\Program Files (x8