搭建Elasticsearch集群常见问题

一、ES安装方法:

Linux用户登录(bae),我们用的是5.3版本的包。从官网下载:

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.tar.gz

解压后,进入到bin目录下,使用 ./elasticsearch 命令启动,看到如下的提示,即为启动成功。端口号9200.

二、ES单节点部署遇到的问题

1.记住不要在root下启动,否则会报错:can not run elasticsearch as root

2.如果是在root下下载的elasticsearch,可能会报下面的错误:

main ERROR Could not register mbeans Java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")

【解决】:改变elasticsearch文件夹所有者到当前用户

sudo chown -R bae:bae elasticsearch

3. jdk的版本要在1.8以上

4.错误:

ERROR: bootstrap checks failed
max file descriptors [10240] for elasticsearch process is too low, increase to at least [65536]
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
[2017-05-09T21:34:03,914][INFO ][o.e.n.Node               ] [m1-hic-ssd-bae03] stopping ...
[2017-05-09T21:34:03,946][INFO ][o.e.n.Node               ] [m1-hic-ssd-bae03] stopped
[2017-05-09T21:34:03,946][INFO ][o.e.n.Node               ] [m1-hic-ssd-bae03] closing ...
[2017-05-09T21:34:03,960][INFO ][o.e.n.Node               ] [m1-hic-ssd-bae03] closed

【解决方法】:

切换到root用户, vi /etc/security/limits.conf

添加如下内容:

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096
vi /etc/security/limits.d/90-nproc.conf 
修改如下内容: * soft nproc 1024 
#修改为 * soft nproc 2048

vi /etc/sysctl.conf

添加下面配置:vm.max_map_count=655360
并执行命令: sysctl -p

重启elasticsearch

5. 报错:

ERROR: bootstrap checks failed
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

【解决】:

在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

【错误原因】:

这是在因为Centos6不支持SecComp,而ES5.2.0默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动。

三、ES集群配置

多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点。Zen发现是ES自带的默认发现机制,使用多播发现其它节点。只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被加入到集群中。

Elasticsearch集群中有的节点一般有三种角色:master node、data node和client node。

  1. master node:master几点主要用于元数据(metadata)的处理,比如索引的新增、删除、分片分配等。
  2. data node:data 节点上保存了数据分片。它负责数据相关操作,比如分片的 CRUD,以及搜索和整合操作。这些操作都比较消耗 CPU、内存和 I/O 资源;
  3. client node:client 节点起到路由请求的作用,实际上可以看做负载均衡器。

我们选m1这台机器作为client node,elasticsearch.yml中的配置如下:

cluster.name: mkt-es-cluster
node.name: ${HOSTNAME}
network.host: 0.0.0.0
discovery.zen.ping.unicast.hosts: ["10.**.**.**"]

在m2上配置elasticsearch.yml:

cluster.name: mkt-es-cluster
node.name: ${HOSTNAME}
network.host: 0.0.0.0
discovery.zen.ping.unicast.hosts: ["10.**.**.**"]

我们在任意一台机器上请求:curl ‘localhost:9200/_cat/health?v‘

我们可以看到,标志着集群状态的status显示为green,节点个数为2个。

四、安装中文分词器ik

1.下载安装包https://github.com/medcl/elasticsearch-analysis-ik/releases

有针对不同es版本的安装包,需要下载与所安装的es版本匹配的安装包。我们还是用5.3.0版本.zip格式的好了。

2.在elasticsearch/plugins目录下新建ik目录,将zip包拷贝到ik目录下,解压。

3.重启elasticsearch

4.注意事项:如果是搭建的集群,需要在每个节点下都安装ik

5.调用下面的url

GET _analyze
{
  "analyzer":"ik_max_word",
  "text":"中华人民共和国国歌"
}

会得到下面结果:

{
  "tokens": [
    {
      "token": "中华人民共和国",
      "start_offset": 0,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "中华人民",
      "start_offset": 0,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 1
    },
    {
      "token": "中华",
      "start_offset": 0,
      "end_offset": 2,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "华人",
      "start_offset": 1,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "人民共和国",
      "start_offset": 2,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 4
    },
    {
      "token": "人民",
      "start_offset": 2,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 5
    },
    {
      "token": "共和国",
      "start_offset": 4,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 6
    },
    {
      "token": "共和",
      "start_offset": 4,
      "end_offset": 6,
      "type": "CN_WORD",
      "position": 7
    },
    {
      "token": "国",
      "start_offset": 6,
      "end_offset": 7,
      "type": "CN_CHAR",
      "position": 8
    },
    {
      "token": "国歌",
      "start_offset": 7,
      "end_offset": 9,
      "type": "CN_WORD",
      "position": 9
    }
  ]
}

或者通过postman采用这种方式:hz01-bae3-rdtest00.hz01.baidu.com:8920/_analyze?analyzer=ik_max_word&text= 我是好人

五、kibana挂掉了

问题表现:请求es机器集群信息:http://*******.com:8920/_cluster/health?pretty

但是kibana上面status确实red,重启都不行。显示如下:

先恢复一下数据吧,参照下面链接:

https://stackoverflow.com/questions/42376101/getting-plugin-is-red-error-when-launching-kibana

删掉es的每个节点下data/es/  里面的所有数据,重启每个节点。就ok了。

具体原因参考下面链接:(其实就是我不知道怎么的吧.kibana这个索引删掉了)

https://stackoverflow.com/questions/31201051/elasticsearch-is-still-initializing-the-kibana-index

时间: 2024-09-28 11:10:57

搭建Elasticsearch集群常见问题的相关文章

采用docker-compose搭建Elasticsearch集群

首先安装docker-compose 在主节点创建一个目录es,并创建docker-compose.yaml,主节点yaml文件如下 version: '2' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:6.6.2 privileged: true environment: - cluster.name=docker-cluster - xpack.security.enabled=f

在单台服务器上搭建elasticsearch集群

很遗憾,这样的集群基本上没啥用处,没有容错能力.因此本文仅可作为学习ES集群部署的参考文档. 系统配置: 修改/etc/hosts增加 127.0.0.1 node01 127.0.0.1 node02 127.0.0.1 node03 修改/etc/sysctl.conf增加配置,然后执行sysctl -p立即生效 vm.max_map_count=655360 用到的软件包: elasticsearch-6.8.6.tar.gz kibana-6.8.6-linux-x86_64.tar.g

搭建Elasticsearch集群的配置

#集群的名称 cluster.name: es6 #节点名称,其余两个节点分别为node-2 和node-3 node.name: node-4 #指定该节点是否有资格被选举成为master节点,默认是true,es是默认集群中的第一台机器为master,如果这台机挂了就会重新选举master node.master: true #允许该节点存储数据(默认开启) node.data: true #索引数据的存储路径 path.data: /data/elasticsearch/data #日志文

Docker 搭建 elasticsearch 集群

前置工作 1.虚拟机内存设置起码2个g以上,不然巨卡 2.需要修改linux的进程数限制 vi /etc/sysctl.conf vm.max_map_count=655360 sysctl -p 创建es集群 1.下载es镜像 docker pull elasticsearch:5.6.11 2.添加挂载的配置文件与文件夹 mkdir -p /mydata/elasticsearch/conf/ mkdir -p /mydata/elasticsearch2/conf/ mkdir -p /m

手把手教你搭建一个Elasticsearch集群

一.为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么.在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? (1)高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息.所以第一步我们需要保证的就是 Elasticsearch 的高可用性,什么是高可用性呢?它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 100%.如果系统在某个时

手把手教你搭建一个 Elasticsearch 集群

为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么.在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? 高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息.所以第一步我们需要保证的就是 Elasticsearch 的高可用性,什么是高可用性呢?它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 100%.如果系统在某个时刻宕掉了,

搭建一个Elasticsearch集群

一.为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么.在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? (1)高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息.所以第一步我们需要保证的就是 Elasticsearch 的高可用性,什么是高可用性呢?它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 100%.如果系统在某个时

ElasticSearch集群搭建

一.前言 先介绍ElasticSearch的几个核心概念. 集群(cluster): 一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能.一个集群由一个唯一的名字标识,这个名字默认就是"elasticsearch".这个名字是重要的,因为一个节点只能通过指定某个集群的名字,来加入这个集群. 节点(node): 一个节点是你集群中的一个服务器,作为集群的一部分,它存储你的数据,参与集群的索引和搜索功能.和集群类似,一个节点也是由一个名字来标识的,默

基于swarm的elasticsearch集群搭建

es集群构建: 1.安装head插件: for Elasticsearch 5.x: docker run -p 9100:9100 mobz/elasticsearch-head:5 ( docker run -p 9100:9100 10.211.121.26/library/elasticsearch-head ) 出现问题 head主控页面是可以显示的,但是显示连接失败 "集群健康值: 未连接" 解决方案 修改elasticsearch.yml文件 vim $ES_HOME$/