elasticsearch 集群部署

Elasticsearch是一个分布式搜索服务,提供Restful API,底层基于Lucene,采用多shard的方式保证数据安全,并且提供自动resharding的功能,github等大型的站点也都采用Elasticsearch作为其搜索服务。废话在此就不多赘述了,下面记录下CentOS7下Elasticsearch集群部署过程:

1)基础信息

elk-es01.kevin.cn    192.168.10.44

elk-es02.kevin.cn    192.168.10.45

elk-es03.kevin.cn    192.168.10.46

下面操作在三个节点机上都要操作

[[email protected] ~]# systemctl stop firewalld.service

[[email protected] ~]# systemctl disable firewalld.service

[[email protected] ~]# firewall-cmd --state

not running

[[email protected] ~]# setenforce 0

setenforce: SELinux is disabled

[[email protected] ~]# getenforce

Disabled

[[email protected] ~]# vim /etc/sysconfig/selinux

......

SELINUX=disabled

[[email protected] ~]# cat /etc/hosts

.....

192.168.10.44 elk-es01.kevin.cn

192.168.10.45 elk-es02.kevin.cn

192.168.10.46 elk-es03.kevin.cn

[[email protected] ~]# /usr/sbin/ntpdate ntp1.aliyun.com

2)安装java8环境,官方建议5.4版本最至少Java 8或以上(三个节点机都要操作)

解压文件到/opt/

jdk-8u121-linux-x64.tar.gz

配置环境变量

#vim /etc/profile

#**************DMP JAVA ENV********************

export JAVA_HOME=/opt/jdk1.8.0_121

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

3)安装elasticsearch(三个节点机都要操作)

创建用户,用户组

#groupadd  es

#useradd es –g es –p 123456

#chown –R es:es /opt/els-node1

#chown –R es:es /opt/els-node2

#chown –R es:es /opt/els-node3

创建数据目录和日志目录

#mkdir -p /opt/els-data/{data1,log1}

#mkdir -p /opt/els-data/{data2,log2}

#mkdir -p /opt/els-data/{data3,log3}

#chown -R es:es /opt/els-node*

优化系统

1,

# cd /etc [[email protected] etc]

# cp sysctl.conf sysctl.conf.bak

# vim sysctl.conf

# elasticsearch config start

vm.max_map_count=262144

# elasticsearch config end

#sysctl -p

2,

# cd /etc/security/

cp limits.conf limits.conf.bak

然后编辑limits.conf增加如下配置:

# elasticsearch config start

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

# elasticsearch config end

下载安装包

#wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.0.zip

配置els

Node-1

node.name: node-1

path.data: /opt/els-data/data1

path.logs: /opt/els-data/logs1

network.host: 192.168.15.143

transport.tcp.port: 9301

http.port: 9201

discovery.zen.ping.unicast.hosts: ["192.168.15.143:9301", "192.168.15.143:9302", "192.168.15.143:9303"]

http.cors.enabled: true

http.cors.allow-origin: "*"

Node-2

node.name: node-2

path.data: /opt/els-data/data2

path.logs: /opt/els-data/logs2

network.host: 192.168.15.143

transport.tcp.port: 9302

http.port: 9202

discovery.zen.ping.unicast.hosts: ["192.168.15.143:9301", "192.168.15.143:9302", "192.168.15.143:9303"]

http.cors.enabled: true

http.cors.allow-origin: "*"

Node-3

node.name: node-3

path.data: /opt/els-data/data3

path.logs: /opt/els-data/logs3

network.host: 192.168.15.143

transport.tcp.port: 9303

http.port: 9203

discovery.zen.ping.unicast.hosts: ["192.168.15.143:9301", "192.168.15.143:9302", "192.168.15.143:9303"]

http.cors.enabled: true

http.cors.allow-origin: "*"

启动服务

./bin/elasticsearch -d

测试:

curl "192.168.15.143:9203"

{

"name" : "node-3",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "5HJLIt_5Ra26HHs4vNRQuA",

"version" : {

"number" : "6.3.0",

"build_flavor" : "default",

"build_type" : "zip",

"build_hash" : "424e937",

"build_date" : "2018-06-11T23:38:03.357887Z",

"build_snapshot" : false,

"lucene_version" : "7.3.1",

"minimum_wire_compatibility_version" : "5.6.0",

"minimum_index_compatibility_version" : "5.0.0"

},

"tagline" : "You Know, for Search"

}

原文地址:http://blog.51cto.com/13833333/2133330

时间: 2024-10-28 11:09:14

elasticsearch 集群部署的相关文章

我的ElasticSearch集群部署总结--大数据搜索引擎你不得不知

摘要:世上有三类书籍:1.介绍知识,2.阐述理论,3.工具书:世间也存在两类知识:1.技术,2.思想.以下是我在部署ElasticSearch集群时的经验总结,它们大体属于第一类知识“techknowledge(技术)”.但其中也穿插一些我个人的理解.敬请指正. 关键词:ElasticSearch, 搜索引擎, 集群, 大数据, Solr, 大数据 三类书籍 和 两类知识: 有一些书是对某一新知识领域的介绍,将此知识领域从头到尾.从内而外剖开了分析,吸收这些知识主要在于“记忆”,(也有“领会”)

elasticsearch集群部署

先说下我用的版本:elasticsearch5.2.2 对于初学者来说,我觉得elasticsearch负载均衡没啥好介绍的,在不涉及到elasticsearch优化的前提下,其实还是蛮简单的. 之所以要写下来,是为了帮助跟我一样笨的同学少走弯路.少踩坑. 为什么这么说? 因为在做elasticsearch集群测试的时候,我也是在网上查找资料.但网上的资料都是千篇一律,而且有一个非常非常重要的关键点没讲. 那就是集群各节点之间的通讯端口:9300的开启都忽略了. 一开始百度,各种可能都试了,怎么

Logstash+Kibana+多ElasticSearch集群部署

ELK原理与介绍 ? ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash .官方文档 :https://www.elastic.co/ Elasticsearch是个开源分布式搜索引擎,提供搜集.分析.存储数据三大功能.它的特点有:分布式,零配置,自动发现,索引自动分

1.elasticsearch集群部署

1.limit的修改 vim /etc/security/limits.conf 具体内容为: *  soft   nofile    65536 *  hard   nofile    65536 *  soft noproc 2048 *  hard noproc 4096 * - memlock unlimited es  soft  memlock  unlimited es  hard  memlock  unlimited sysctl -p 生效 不做上述操作,部署es启动可能:

elasticsearch集群部署,及采坑问题

1,官网下载安装包 2,解压安装包到指定的目录 tar -zxvf elasticsearch-6.5.4.tar.gz 3,重命名 mv elasticsearch-6.2.1  elasticsearch 4,创建数据存放路径(应将设置配置为在Elasticsearch主目录之外定位数据目录,以便在不删除数据的情况下删除主目录!) mkdir -p /home/data/es 5,建立用户并授权(es不能用root运行) groupadd es useradd es -g es passwd

谈一谈Elasticsearch的集群部署

??Elasticsearch天生就支持分布式部署,通过集群部署可以提高系统的可用性.本文重点谈一谈Elasticsearch的集群节点相关问题,搞清楚这些是进行Elasticsearch集群部署和拓扑结构设计的前提.关于如何配置集群的配置文件不会在本文中提及. 节点类型 1. 候选主节点(Master-eligible node) ??一个节点启动后,就会使用Zen Discovery机制去寻找集群中的其他节点,并与之建立连接.集群中会从候选主节点中选举出一个主节点,主节点负责创建索引.删除索

Elasticsearch 7.5.0集群部署

一.背景介绍ELK 不是一款软件,而是 Elasticsearch.Logstash 和 Kibana 三种软件产品的首字母缩写.这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack.根据 Google Trend 的信息显示,ELK Stack 已经成为目前最流行的集中式日志解决方案. Elasticsearch:分布式搜索和分析引擎,具有高可伸缩.高可靠和易管理等特点.基于 Apache Lucene 构建,能对大容量的数据进行接

Elasticsearch集群 windows下部署ES集群,多台服务器

? 针对于Elasticsearch集群部署基本上就是一些配置就可以解决的,我们这块简单称为(ES). ES下载地址为:https://www.elastic.co/cn/downloads/past-releases 如果不能下载,可以转至https://download.csdn.net/download/weixin_41986096/11635439 进行下载. 下来选择盘符建立es-cluster文件夹,名称可以随意替换,我们将es复制3份,分别如下图所示(伪集群部署方式) ? 然后打

elasticsearch2.x集群部署

一.linux环境 1.增大用户进程数和文件句柄数 (1)vim /etc/security/limits.d/90-nproc.conf * soft nproc 30499 root soft nproc unlimited (2)vim /etc/security/limits.conf * soft noproc 30499             * hard noproc 30499            * soft nofile 65536             * hard