elk6.2集群搭建,cerebro集群管理

环境准备:

两台centos 7.3 x86_64

这里软件版本是2018 .3月的,如以后最新版本请去官网下载

规划:

cm-elk-01:

IP:192.168.10.63

安装:

elasticsearch

kibana:前端展示

cm-elk-02:

IP:192.168.10.64

安装:

elasticsearch

cerebro:查看集群状态

搭建前准备:

1. 两台服务器需要修改最大文件数65536

 vim /etc/security/limits.conf 
 最后添加 
 * soft nofile 65536 
 * hard nofile 131072 
 * soft nproc 2048 
 * hard nproc 4096

2.修改最大打开进程数,最低2048

vim /etc/security/limits.d/20-nproc.conf
 修改如果最后不是4096改为4096  
 *          soft    nproc     4096

3.两台都需要装jdk 1.8以上,这里yum装

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel java-1.8.0-openjdk-headless

4.修改系统hosts文件,让两台服务器能通过域名访问

vim /etc/hosts
 添加 
 192.168.10.63 cm-elk-01 
 192.168.10.64 cm-elk-02

安装:

1.elasticsearch安装配置,yum安装,方便快捷有面子,两台服务器都需要执行

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.rpm 
yum localinstall -y elasticsearch-6.2.2.rpm 
mkdir -pv /data/elk/{data,logs}          #存放elk数据和日志 
chown -R elasticsearch.elasticsearch /data/elk/

配置elasticsearch.yml

 vim /etc/elasticsearch/elasticsearch.yml 
 修改 
 cluster.name: cm-elk     #集群名字,两台服务器一样 
 node.name: cm-elk-01    #节点名字,每台不一样,这里我用的主机名命名 
 path.data: /data/elk/data  #存放数据地方,索引 
 path.logs: /data/elk/logs   #存放elasticsearch产生日志地方 
 network.host: 0.0.0.0      #网络监听 
 http.port: 9200           #监听端口 
 discovery.zen.ping.unicast.hosts: ["cm-elk-01","cm-elk-02" ]  #集群主机

启动elasticsearch

systemctl start elasticsearch 
systemctl status elasticsearch 
systemctl enable elasticsearch

查看是否启动正常,不正常看日志报错(系统日志+elk产生日志)。

启动成功后会产生 9200  9300 监听端口,通过网站访问IP:9200可以看到如下界面

坑点:

如果是复制的第一台配置文件,一定要把配置文件权限改为elasticsearch所有

2. cm-elk-01安装kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.2-x86_64.rpm 
yum localinstall kibana-6.2.2-x86_64.rpm

配置kibana

vim /etc/kibana/kibana.yml 
修改 
server.port: 5601                           #监听端口 
server.host: "192.168.10.63"          #监听IP 
elasticsearch.url: "http://localhost:9200"  # elasticsearch地址,这是用本机

启动:

 /etc/init.d/kibana start

然后访问:http://192.168.10.63:5601

3. cm-elk-02安装cerebro来可视化集群管理

wget https://github.com/lmenezes/cerebro/releases/download/v0.7.2/cerebro-0.7.2.zip

#具体新版本查看https://github.com/lmenezes/cerebro/releases

unzip cerebro-0.7.2.zip 
cd cerebro-0.7.2 
修改配置文件,只需要修改host添加当前其中一台elasticsearch地址,然后名字即可 
vim conf/ application.conf
            hosts = [
                       {
                           host = "http://192.168.10.64:9200"
                           name = "cm-elk"
                       },
                    ]

启动:

nohup ./bin/cerebro -Dhttp.port=1234 -Dhttp.address=192.168.10.64 &

#监听端口1234   监听IP 192.168.10.64

点击cm-elk既可以进入,可以查看分片等信息

到此 elk集群搭建完成

原文地址:http://blog.51cto.com/linyingyong/2084284

时间: 2024-10-11 02:05:40

elk6.2集群搭建,cerebro集群管理的相关文章

分布式缓存技术redis学习系列(四)——redis高级应用(集群搭建、集群分区原理、集群操作)

本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用(主从.事务与锁.持久化)> 本文我们继续学习redis的高级特性--集群.本文主要内容包括集群搭建.集群分区原理和集群操作的学习. Redis集群简介 Redis 集群是3.0之后才引入的,在3.0之前,使用哨兵(sentinel)机制(本文将不做介绍,大家可另行查阅)来监控各个节点之间的状态.Redi

MongoDB集群搭建-副本集

MongoDB集群搭建-副本集 概念性的知识,可以参考本人博客地址: http://www.cnblogs.com/zlp520/p/8088169.html 一.Replica Set方案(副本集或复制集): 1.搭建副本集有两种办法: 其一:在一台服务器上,通过文件的方式及端口号的方式来区分: 其二:找最少三台服务器,每台服务器都通过如下的配置: ip规划每台服务器担任的工作: 192.168.0.100:27017 主机 192.168.0.101:27017 副本集 192.168.0.

redis高级应用(集群搭建、集群分区原理、集群操作)

文章主目录 Redis集群简介 Redis集群搭建 Redis集群分区原理 集群操作 参考文档 本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用(主从.事务与锁.持久化)> 本文我们继续学习redis的高级特性--集群.本文主要内容包括集群搭建.集群分区原理和集群操作的学习. 回到顶部 Redis集群简介 Redis 集群是3.0之后才引入的,在3.0

Linux Redis集群搭建与集群客户端实现

我们要在单台机器上搭建Redis集群,方式是通过不同的TCP端口启动多个实例,然后组成集群. 1.启动Redis多个实例 我们在Redis安装目录下创建目录cluster,并编写7000.conf~7005.conf 6个配置文件,这6个配置文件用来启动6个实例,后面将使用这6个实例组成集群. 以7000.conf为例,配置文件需要填写如下几项. port 7000 //端口7000,7002,7003 bind 10.93.84.53 //默认ip为127.0.0.1 需要改为其他节点机器可访

Ceph 存储集群 - 搭建存储集群

一.准备机器 本文描述如何在 CentOS 7 下搭建 Ceph 存储集群(STORAGE CLUSTER). 一共4台机器,其中1个是管理节点,其他3个是ceph节点: hostname ip role 描述 admin-node 192.168.0.130 ceph-deploy 管理节点 node1 192.168.0.131 mon.node1 ceph节点,监控节点 node2 192.168.0.132 osd.0 ceph节点,OSD节点 node3 192.168.0.133 o

solr集群搭建,zookeeper集群管理

1. 第一步 把solrhome中的配置文件上传到zookeeper集群.使用zookeeper的客户端上传. 客户端命令位置:/root/solr-4.10.3/example/scripts/cloud-scripts ./zkcli.sh -zkhost 192.168.243.135:2181,192.168.243.135:2182,192.168.243.135:2183 -cmd upconfig -confdir /usr/local/solrCloud/solrhomes/so

mongodb3.6集群搭建:分片集群认证

上篇集群已经创建,现在加入认证. 1. 生成密钥文件每个服务器上创建路径: mkdir -p /var/lib/mongo/auth 生成64字节的密钥文件openssl rand -base64 64 > /var/lib/mongo/auth/keyfile.key 把密钥文件复制到集群中每一个结点上(路由结点,元配置结点,分片结点上都要有这个密钥文件)scp /var/lib/mongo/auth/keyfile.key [email protected]:/var/lib/mongo/a

Mosquitto搭建Android推送服务(二)Mosquitto集群搭建

文章钢要: 1.进行双服务器搭建 2.进行多服务器搭建 一.Mosquitto的分布式集群部署 如果需要做并发量很大的时候就需要考虑做集群处理,但是我在查找资料的时候发现并不多,所以整理了一下,搭建简单的Mosquitto集群模式. 首先集群需要2台以上的Mosquitto服务器.安装方式同上. 先了解下Mosquitto集群模式的逻辑图,如下: 可以看出,无论在那台服务器中订阅了信息,无论在那台服务器上发布信息,订阅者都可以收到发布的信息.那么下一步我们着手搭建集群服务器,为了方便只演示2台服

Hadoop2.0集群、Hbase集群、Zookeeper集群、Hive工具、Sqoop工具、Flume工具搭建总结

实验开发环境所用软件: [[email protected] local]# ll total 320576 -rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gz drwxr-xr-x 7 root root 4096 Jul 15 10:46 flume drwxr-xr-x. 11 root root 4096 Jul 10 21:04 hadoop -rw-r--r--. 1 root root