Linux下ELK环境搭建

一.准备工作


准备3台机器，这样才能完成分布式集群的实验，当然能有更多机器更好：

  • 192.168.3.64（e1）
  • 192.168.3.62  (e2)
  • 192.168.3.63（e3）

角色划分：

  • 3台机器全部安装jdk1.8，因为elasticsearch是java开发的
  • 3台全部安装elasticsearch (后续都简称为es)
  • e1作为主节点
  • e2,e3作为数据节点
  • e1上需要安装kibana
  • 在e2上安装 logstash

二.es的安装配置

2.1es下载安装


[[email protected] ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
[[email protected] ~]# vim /etc/yum.repos.d/elastic.repo # 增加以下内容
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
[[email protected] ~]# yum install -y elasticsearch

2.2主节点e1配置


[[email protected] ~]# vim /etc/elasticsearch/elasticsearch.yml # 增加或更改以下内容
cluster.name: master-node # 集群中的名称
node.name: master # 该节点名称
node.master: true # 意思是该节点为主节点
node.data: false # 表示这不是数据节点
network.host: 0.0.0.0 # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200 # es服务的端口号
discovery.zen.ping.unicast.hosts: ["192.168.3.64", "192.168.3.62", "192.168.3.63"] # 配置自动发现

2.3 数据节点e2配置


[[email protected] ~]# vim /etc/elasticsearch/elasticsearch.yml # 增加或更改以下内容
cluster.name: master-node # 集群中的名称
node.name: data-node1 # 该节点名称
node.master: false # 意思是该节点为主节点
node.data: true # 表示这不是数据节点
network.host: 0.0.0.0 # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200 # es服务的端口号
discovery.zen.ping.unicast.hosts: ["192.168.3.64", "192.168.3.62", "192.168.3.63"] # 配置自动发现

2.4数据节点e3配置


[[email protected] ~]# vim /etc/elasticsearch/elasticsearch.yml # 增加或更改以下内容
cluster.name: master-node # 集群中的名称
node.name: data-node2 # 该节点名称
node.master: false # 意思是该节点为主节点
node.data: true # 表示这不是数据节点
network.host: 0.0.0.0 # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200 # es服务的端口号
discovery.zen.ping.unicast.hosts: ["192.168.3.64", "192.168.3.62", "192.168.3.63"] # 配置自动发现

2.5 在主节点e1中输入下面命令，启动es


systemctl start elasticsearch.service

2.6 查看es是否启动


[[email protected] ~]# ps aux |grep elasticsearch

[[email protected] ~]# netstat -lntp |grep java  # es服务会监听两个端口

9300端口是集群通信用的，9200则是数据传输时用的。

主节点启动成功后，依次启动其他节点即可。

2.7 查看集群情况


[[email protected] ~]# curl ‘localhost:9200/_cluster/health?pretty‘

三.安装kibana

3.1 下载安装kibana

[[email protected] ~]# yum -y install kibana 
或者
[[email protected]tp1 ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-x86_64.rpm
[[email protected] ~]# rpm -ivh kibana-6.0.0-x86_64.rpm
 
3.2 kibana配置
[[email protected] ~]#vim /etc/kibana/kibana.yml # 增加以下内容


server.port: 5601  # 配置kibana的端口
server.host: 192.168.77.128  # 配置监听ip
elasticsearch.url: "http://192.168.77.128:9200"  # 配置es服务器的ip，如果是集群则配置该集群中主节点的ip
logging.dest: /var/log/kibana.log  # 配置kibana的日志文件路径，不然默认是messages里记录日志








3.3 创建日志文件








[[email protected] ~]# touch /var/log/kibana.log; chmod 777 /var/log/kibana.log








3.4 启动kibana服务，并检查进程和监听端口








[[email protected] ~]#systemctl start kibana


[[email protected] ~]# ps aux |grep kibana
root 16528 0.0 0.0 112660 968 pts/2 S+ 10:47 0:00 grep --color=auto kibana
kibana 29265 0.4 0.7 1315604 239188 ? Ssl Sep19 39:09 /usr/share/kibana/bin/../node/bin/node --no-warnings /usr/share/kibana/bin/../src/cli -c /etc/kibana/kibana.yml








3.5 浏览器访问http://192.168.77.128:5601/ ,查看kibana




四. 安装 logstash


4.1 在e2中安装logstash








[[email protected] ~]# yum install -y logstash


或者




[[email protected] ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.rpm
[[email protected] ~]# rpm -ivh logstash-6.0.0.rpm


 








4.2 启动logstash








[[email protected] ~]#systemctl restart logstash









原文地址：https://www.cnblogs.com/SimonWu/p/9698486.html
				


				
时间： 2024-11-05 17:30:29 

		


		


	

	
	

		


		
Linux下ELK环境搭建的相关文章


								

		

			

                linux下PHP 环境搭建
			

		

		

									

				linux下环境搭建 第一步 安装Apache2 sudo apt-get install apache2 第二步 安装PHP模块 sudo apt-get install php5 第三步 安装Mysql sudo apt-get install mysql-server sudo apt-get install mysql-client 第四步 其他模块安装 sudo apt-get install libapache2-mod-php5 sudo apt-get install libap			

		

	

				

		

			

                linux下scrapy环境搭建
			

		

		

									

				最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘 OS:ubuntu 14.04  python:2.7.6 scrapy:1.0.5 DB:MongoDB 3 ubuntu14.04内置python2.7,因此python及pip安装不再赘述. 一.安装scrapy pip install Scrapy  由于scrapy相关依赖较多,因此在安装过程中可能遇到如下问题: 1．ImportError: No module named 			

		

	

				

		

			

                linux下LAMP环境搭建尝试
			

		

		

									

				最近,学习搭建了LAMP服务环境,中间遇到了很多问题,经过不断摸索总算得以解决.为了大家少走弯路,现将相关经验进行总结. linux下软件安装分为自动安装和手动安装两种,自动安装借助工具如yum等,自动安装的文件往往分散在各个目录,为了便于管理,这里选择手动安装     1.安装apache     1.1 将apache解压到/usr/local/services目录 tar zxvf httpd-2.0.63.tar.gz      1.2 进入httpd-2.0.63目录,生成makefi			

		

	

				

		

			

                Linux下svn环境搭建
			

		

		

									

				不久前买了一个阿里云服务器,想着在上面搭建一个svn服务方便自己的代码管理.顺便记录下自己的搭建过程 首先,安装服务 通过yum -stall subversion 安装snv,可能install之前需要装一些其他的依赖包,可以根据提示安装. 第二步,创建svn目录,目录名叫wash步骤:(1)svnadmin create /svn/wash  (假设svn装在了根目录,/svn)(2)vi /svn/project1/conf/svnserve.conf anon-access = none			

		

	

				

		

			

                linux下LNMP环境搭建
			

		

		

									

				LNMP是linux.nginx.mysql.php的简写:LNMP与LAMP环境一样也是用来做web网站后台的,nginx是轻量级的,进程间的通讯使用php-fpm独立使用:apache则是比较臃肿的,调用php的模块来完成的,需要加载很多模块,运行起来相对较慢. 一.安装MySQL 我们平时安装MySQL都是源码包安装的,但是由于它的编译需要很长的时间,我们这里选择安装二进制免编译包.你可以到MySQL官方网站去下载 http://dev.mysql.com/downloads/ 具体版本根			

		

	

				

		

			

                Linux下LAMP环境搭建
			

		

		

									

				LAMP(Linux- Apache-MySQL-PHP)网站架构是目前国际流行的Web框架,该框架包括:Linux操作系统,Apache网络服务器,MySQL数据 库,Perl.PHP或者Python编程语言,所有组成产品均是开源软件,是 国际上成熟的架构框架,很多流行的商业应用都是采取这个架构,和 Java/J2EE架构相比,LAMP具有Web资源丰富.轻量.快速开发等特点,微软的.NET架构相比,LAMP具有通用.跨平台.高性能.低价格的 优势, 因此LAMP无论是性能.质量还是价格都是企			

		

	

				

		

			

                linux下lamp环境搭建(apache安装,mysql安装,php安装)
			

		

		

									

				1.卸载系统内置的LAMP环境 1)卸载httpd服务(内置Apache) ① 使用rpm指令查询安装的httpd服务 ② 卸载httpd服务 如果出现以上提示,代表系统默认不允许我们卸载软件,使用强制卸载 - - nodeps 依次卸载其他软件 2)卸载mysql服务 3)卸载php服务 2.LAMP环境安装注意事项 ① 必须把Linux系统中的内置AMP卸载干净 ② 注意软件的安装顺序 第一步:首先安装Apache环境 第二步:安装MySQL环境 第三步:安装PHP环境 3.Apache软件			

		

	

				

		

			

                Linux下oa环境搭建
			

		

		

									

				一.环境检查 1.查看linux系统发行版本 cat/etc/redhat-release 版本为linux 5.4 关闭防火墙 Service iptables stop 开机自启 Linux操作系统的内核被载入内存,等待内核加载成功之后,第一个运行的程序就是init程序. Init进程是非内核进程之外的第一个被启动运行的进程,作用是决定需要启动的运行级别,所以它的配置文件是   /etc/inittab 说明: 1) 单用户模式有点像windows安全模式(F8进入).单用户工作状态,roo			

		

	

				

		

			

                linux下php环境搭建(xampp)
			

		

		

									

				(迁移自旧博客2017 08 30) 学习一门语言之前需要配置环境,今天我们就将配置php开发环境,为php的后续学习做准备. xampp是一个功能强大的建站集成软件包.这个软件包原来的名字是 LAMPP,但是为了避免误解,最新的几个版本就改名为 XAMPP 了. 使用linux的wget命令下载,下载前先进入opt文件夹: cd /opt wget 下载地址 然后我们先赋予755权限,防止因为权限不足导致无法安装. chmod -R 755 xampp-linux-1.8.3-5-instal