elasticsearch集群部署,及采坑问题

1,官网下载安装包

2,解压安装包到指定的目录

tar -zxvf elasticsearch-6.5.4.tar.gz

3,重命名

mv elasticsearch-6.2.1  elasticsearch

4,创建数据存放路径(应将设置配置为在Elasticsearch主目录之外定位数据目录,以便在不删除数据的情况下删除主目录!)

mkdir -p /home/data/es

5,建立用户并授权(es不能用root运行)

groupadd es

useradd es -g es

passwd es

chown -R es.es /home/elasticsearch /home/data/es

6,修改elasticsearch配置文件

vi /home/elasticsearch/config/elasticsearch.yml 将配置文件以下内容进行修改:

#集群的名称
cluster.name: es6.2
#节点名称,其余两个节点分别为node-2 和node-3
node.name: node-1
#指定该节点是否有资格被选举成为master节点,默认是true,es是默认集群中的第一台机器为master,如果这台机挂了就会重新选举master
node.master: true

bootstrap.memory_lock: false

bootstrap.system_call_filter: false

#允许该节点存储数据(默认开启)
node.data: true
#索引数据的存储路径
path.data: /home/data/es
#日志文件的存储路径
path.logs: /home/data/es/logs
#设置为true来锁住内存。因为内存交换到磁盘对服务器性能来说是致命的,当jvm开始swapping时es的效率会降低,所以要保证它不swap
bootstrap.memory_lock: true
#绑定的ip地址
network.host: 0.0.0.0
#设置对外服务的http端口,默认为9200
http.port: 9200
# 设置节点间交互的tcp端口,默认是9300
transport.tcp.port: 9300
#Elasticsearch将绑定到可用的环回地址,并将扫描端口9300到9305以尝试连接到运行在同一台服务器上的其他节点。
#这提供了自动集群体验,而无需进行任何配置。数组设置或逗号分隔的设置。每个值的形式应该是host:port或host
#(如果没有设置,port默认设置会transport.profiles.default.port 回落到transport.tcp.port)。
#请注意,IPv6主机必须放在括号内。默认为127.0.0.1, [::1]
discovery.zen.ping.unicast.hosts: ["192.168.8.101:9300", "192.168.8.103:9300", "192.168.8.104:9300"]
#如果没有这种设置,遭受网络故障的集群就有可能将集群分成两个独立的集群 - 分裂的大脑 - 这将导致数据丢失

discovery.zen.minimum_master_nodes: 3

#配置此项为外网可以连接

http.cors.enabled: true

http.cors.allow-origin: "*"

7,启动

su es

/home/elasticsearch/bin/elasticsearch -d

8,坑问题

启动发现报错:

解决方法:

su root

vim /etc/security/limits.conf

* soft nofile 65536

* hard nofile 65536

* soft nproc 2048

* hard nproc 4096

vi /etc/sysctl.conf

vm.max_map_count=655360

改完之后需要推出终端,重新连接,然后再次启动es

原文地址:https://www.cnblogs.com/daxiangfei/p/10245751.html

时间: 2024-10-08 21:15:00

elasticsearch集群部署,及采坑问题的相关文章

elasticsearch 集群部署

Elasticsearch是一个分布式搜索服务,提供Restful API,底层基于Lucene,采用多shard的方式保证数据安全,并且提供自动resharding的功能,github等大型的站点也都采用Elasticsearch作为其搜索服务.废话在此就不多赘述了,下面记录下CentOS7下Elasticsearch集群部署过程: 1)基础信息 elk-es01.kevin.cn    192.168.10.44 elk-es02.kevin.cn    192.168.10.45 elk-

我的ElasticSearch集群部署总结--大数据搜索引擎你不得不知

摘要:世上有三类书籍:1.介绍知识,2.阐述理论,3.工具书:世间也存在两类知识:1.技术,2.思想.以下是我在部署ElasticSearch集群时的经验总结,它们大体属于第一类知识“techknowledge(技术)”.但其中也穿插一些我个人的理解.敬请指正. 关键词:ElasticSearch, 搜索引擎, 集群, 大数据, Solr, 大数据 三类书籍 和 两类知识: 有一些书是对某一新知识领域的介绍,将此知识领域从头到尾.从内而外剖开了分析,吸收这些知识主要在于“记忆”,(也有“领会”)

elasticsearch集群部署

先说下我用的版本:elasticsearch5.2.2 对于初学者来说,我觉得elasticsearch负载均衡没啥好介绍的,在不涉及到elasticsearch优化的前提下,其实还是蛮简单的. 之所以要写下来,是为了帮助跟我一样笨的同学少走弯路.少踩坑. 为什么这么说? 因为在做elasticsearch集群测试的时候,我也是在网上查找资料.但网上的资料都是千篇一律,而且有一个非常非常重要的关键点没讲. 那就是集群各节点之间的通讯端口:9300的开启都忽略了. 一开始百度,各种可能都试了,怎么

Logstash+Kibana+多ElasticSearch集群部署

ELK原理与介绍 ? ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash .官方文档 :https://www.elastic.co/ Elasticsearch是个开源分布式搜索引擎,提供搜集.分析.存储数据三大功能.它的特点有:分布式,零配置,自动发现,索引自动分

1.elasticsearch集群部署

1.limit的修改 vim /etc/security/limits.conf 具体内容为: *  soft   nofile    65536 *  hard   nofile    65536 *  soft noproc 2048 *  hard noproc 4096 * - memlock unlimited es  soft  memlock  unlimited es  hard  memlock  unlimited sysctl -p 生效 不做上述操作,部署es启动可能:

谈一谈Elasticsearch的集群部署

??Elasticsearch天生就支持分布式部署,通过集群部署可以提高系统的可用性.本文重点谈一谈Elasticsearch的集群节点相关问题,搞清楚这些是进行Elasticsearch集群部署和拓扑结构设计的前提.关于如何配置集群的配置文件不会在本文中提及. 节点类型 1. 候选主节点(Master-eligible node) ??一个节点启动后,就会使用Zen Discovery机制去寻找集群中的其他节点,并与之建立连接.集群中会从候选主节点中选举出一个主节点,主节点负责创建索引.删除索

Elasticsearch 7.5.0集群部署

一.背景介绍ELK 不是一款软件,而是 Elasticsearch.Logstash 和 Kibana 三种软件产品的首字母缩写.这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack.根据 Google Trend 的信息显示,ELK Stack 已经成为目前最流行的集中式日志解决方案. Elasticsearch:分布式搜索和分析引擎,具有高可伸缩.高可靠和易管理等特点.基于 Apache Lucene 构建,能对大容量的数据进行接

Elasticsearch集群 windows下部署ES集群,多台服务器

? 针对于Elasticsearch集群部署基本上就是一些配置就可以解决的,我们这块简单称为(ES). ES下载地址为:https://www.elastic.co/cn/downloads/past-releases 如果不能下载,可以转至https://download.csdn.net/download/weixin_41986096/11635439 进行下载. 下来选择盘符建立es-cluster文件夹,名称可以随意替换,我们将es复制3份,分别如下图所示(伪集群部署方式) ? 然后打

elasticsearch2.x集群部署

一.linux环境 1.增大用户进程数和文件句柄数 (1)vim /etc/security/limits.d/90-nproc.conf * soft nproc 30499 root soft nproc unlimited (2)vim /etc/security/limits.conf * soft noproc 30499             * hard noproc 30499            * soft nofile 65536             * hard