【拆分版】Docker-compose构建Elasticsearch 7.1.0集群

写在前边

搞了两三天了,一直有个问题困扰着我,ES集群中配置怎么能正确映射到主机上,这边经常报ClusterFormationFailureHelper master not discovered or elected yet.原因是容器中的ES节点没有正确的映射到主机上,而且容器内ip是易变的,我该怎么配置呢?

临下班了,终于想到个法子,固定容器ip——使用network_mode: host

看到主机模式的我眼前一亮,容器就相当于一个主机服务,你占哪个端口就是哪个,没有必要再去自己指定port去映射到主机。这样只要主机ip不变,容器中ip不就没问题了么!!!

本文内容架构图

解释:

Master节点作为Master节点与协调节点,为防止脑裂问题,降低负载,不存数据

Node1~Node3为数据节点,不参与Master竞选

TribeNode节点不存数据,不参与Master竞选

准备环境

  • GNU/Debain Stretch 9.9 linux-4.19
  • Docker 18.09.6
  • Docker-Compose 1.17.1
  • elasticsearch:7.1.0

配置脚本参见我的Github <https://github.com/hellxz/docker-es-cluster.git>

目录结构

.
├── docker-es-data01
│?? ├── data01
│?? ├── data01-logs
│?? ├── docker-compose.yml
│?? ├── .env
│?? └── es-config
│??     └── elasticsearch.yml
├── docker-es-data02
│?? ├── data02
│?? ├── data02-logs
│?? ├── docker-compose.yml
│?? ├── .env
│?? └── es-config
│??     └── elasticsearch.yml
├── docker-es-data03
│?? ├── data03
│?? ├── data03-logs
│?? ├── docker-compose.yml
│?? ├── .env
│?? └── es-config
│??     └── elasticsearch.yml
├── docker-es-master
│?? ├── docker-compose.yml
│?? ├── .env
│?? ├── es-config
│?? │?? └── elasticsearch.yml
│?? ├── master-data
│?? └── master-logs
└── docker-es-tribe
    ├── docker-compose.yml
    ├── .env
    ├── es-config
    │?? └── elasticsearch.yml
    ├── tribe-data
    └── tribe-logs

各目录代表节点与端口号

节点目录 节点名称 协调端口号 说明 查询端口号
docker-es-data01 data01 9301 数据节点1,非master节点 9201
docker-es-data02 data02 9302 数据节点2,非master节点 9202
docker-es-data03 data03 9303 数据节点3,非master节点 9203
docker-es-master master 9300 master节点,非数据节点 9200
docker-es-tribe tribe 9304 协调节点,非master非数据节点 9204

想测试这些节点是否可用,只需要修改每个节点目录下的es-config/elasticsearch.yml中的ip地址,全部换成你需要的ip即可。

各文件功用举例说明

鉴于这里边有很多是重复操作,这里仅拿其中的master节点进行举例,其余代码参见Github

.env 这个文件为docker-compose.yml提供默认参数,方便修改

# the default environment for es-master
# set es node jvm args
ES_JVM_OPTS=-Xms256m -Xmx256m
# set master node data folder
MASTER_DATA_DIR=./master-data
# set master node logs folder
MASTER_LOGS_DIR=./master-logs

docker-compose.yml docker-compose的配置文件

version: "3"
services:
    es-master:
        image: elasticsearch:7.1.0
        container_name: es-master
        environment: # setting container env
            - ES_JAVA_OPTS=${ES_JVM_OPTS}   # set es bootstrap jvm args
        restart: always
        volumes:
            - ./es-config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
            - ${MASTER_DATA_DIR}:/usr/share/elasticsearch/data:rw
            - ${MASTER_LOGS_DIR}:/usr/share/elasticsearch/logs:rw
        network_mode: "host"

简单来说,就是修改pull的镜像,替换其中的变量与配置文件,挂载数据与日志目录,最后用的host主机模式,让节点服务占用到实体机端口

elaticsearch.yml elasticsearch的配置文件,搭建集群最关键的文件之一

# ======================== Elasticsearch Configuration =========================
cluster.name: es-cluster
node.name: master
node.master: true
node.data: false
node.attr.rack: r1
bootstrap.memory_lock: true
http.port: 9200
network.host: 10.2.114.110
transport.tcp.port: 9300
discovery.seed_hosts: ["10.2.114.110:9301","10.2.114.110:9302","10.2.114.110:9303","10.2.114.110:9304"]
cluster.initial_master_nodes: ["master"]
gateway.recover_after_nodes: 2

按照前几篇文章下来,大家对这些参数已经不是很陌生了,这里简单说下几个比较重要的参数

  • transport.tcp.port 设置es多节点协调的端口号
  • discovery.seed_hosts 设置当前节点启动后要发现的协调节点位置,当然自己不需要发现自己,推荐使用ip:port形式,集群形成快
  • cluster.initial_master_nodes 集群中可以成为master节点的节点名,这里指定唯一的一个,防止脑裂

使用说明

  1. 若想将此脚本使用到生产上,需要修改每个节点下的.env文件,将挂载数据、日志目录修改为启动es的集群的用户可读写的位置,可以通过sudo chmod 777 -R 目录sudo chown -R 当前用户名:用户组 目录 来修改被挂载的目录权限
  2. 修改.env下的JVM参数,扩大堆内存,启动与最大值最好相等,以减少gc次数,提高效率
  3. 修改所有节点下的docker-compose.yml 中的network.host地址 为当前所放置的主机的ip,discovery.seed_hosts需要填写具体各待发现节点的实体机ip,以确保可以组成集群
  4. 确保各端口在其宿主机上没有被占用,如有占用需确认是否有用,无用kill,有用则更新docker-compose.ymlhttp.porttransport.tcp.port,注意与此同时要更新其它节点的discovery.seed_hosts对应的port
  5. 如果在同一台主机上,可以参考使用文章后边的简单的shell脚本

各节点操作命令

后台启动命令均为docker-compose up -d

关闭命令:

  • docker-compose down: 关闭同时移除容器与多余虚拟网卡
  • docker stop contains_name: 根据容器名称关闭容器,不移除容器

简单的Shell脚本

docker-es-cluster-up.sh

#/bin/bash
# please put this shell script to the root of each node folder.
# this shell script for start up the docker-es-cluster designed in the one of linux server.
cd docker-es-master && docker-compose up -d && cd ../docker-es-data01 && docker-compose up -d && cd ../docker-es-data02 && docker-compose up -d && cd ../docker-es-data03 && docker-compose up -d && cd ../docker-es-tribe && docker-compose up -d && cd ..

docker-es-cluster-down.sh

#/bin/bash
# please put this shell script to the root of each node folder.
# this shell script for remove the docker-es-cluster's containers and networks designed in the one of linux server.
cd docker-es-tribe && docker-compose down && cd ../docker-es-data03 && docker-compose down && cd ../docker-es-data02 && docker-compose down && cd ../docker-es-data01 && docker-compose down && cd ../docker-es-master && docker-compose down && cd ..

docker-es-cluster-stop.sh

#/bin/bash
# please put this shell script to the root of each node folder.
# this shell script for stop the docker-es-cluster's containers designed in the one of linux server.
docker stop es-tribe es-data03 es-data02 es-data01 es-master

如果你想让这些脚本有执行权限,不妨试试sudo chmod +x *.sh

这些脚本中没有使用sudo,如需要使用sudo才能启动docker,请添加当前用户到docker组

Enjoy.

本文系原创文章,禁止转载。

原文地址:https://www.cnblogs.com/hellxz/p/docker_es_cluster.html

时间: 2024-09-30 20:57:37

【拆分版】Docker-compose构建Elasticsearch 7.1.0集群的相关文章

Docker Compose 一键部署Nginx代理Tomcat集群

Docker Compose 一键部署Nginx代理Tomcat集群 目录结构 [[email protected] ~]# tree compose_nginx_tomcat/ compose_nginx_tomcat/ ├── docker-compose.yml ├── mysql │   ├── conf │   │   └── my.cnf │   └── data ├── nginx │   ├── Dockerfile │   ├── nginx-1.12.1.tar.gz │  

Docker 搭建一个Elasticsearch 7.5.1集群+kibana 7.5.1

1.docker安装elasticsearch 7.5.1 拉取镜像 docker pull elasticsearch:7.5.1 创建网络 如果需要安装kibana等其他,需要创建一个网络,名字任意取,让他们在同一个网络,使得es和kibana通信 docker network create esnet(这个名字可以自定义,但是注意启动kibana是名字保持一致) 创建数据卷 此处为了docker容器删除或者其他异常情况,将ES的重要数据挂载到宿主机 # 查看当前数据局列表 docker v

Elasticsearch 7.5.0集群部署

一.背景介绍ELK 不是一款软件,而是 Elasticsearch.Logstash 和 Kibana 三种软件产品的首字母缩写.这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack.根据 Google Trend 的信息显示,ELK Stack 已经成为目前最流行的集中式日志解决方案. Elasticsearch:分布式搜索和分析引擎,具有高可伸缩.高可靠和易管理等特点.基于 Apache Lucene 构建,能对大容量的数据进行接

Docker 环境下,一键安装Kafaka 集群

一.必要条件 1.1 安装docker 1.2 安装docker compose 二.一键安装kafka集群 1 version: '3.5' 2 services: 3 zookeeper: 4 image: wurstmeister/zookeeper ## 镜像 5 ports: 6 - "2181:2181" ## 对外暴露的端口号 7 kafka: 8 image: wurstmeister/kafka ## 镜像 9 volumes: 10 - /etc/localtime

Docker&Kubernetes沙龙干货集锦:容器集群管理利器kubernetes详谈-CSDN.NET

Docker&Kubernetes沙龙干货集锦:容器集群管理利器kubernetes详谈-CSDN.NET undefined Package - crawler undefined Docker&Kubernetes沙龙干货集锦:容器集群管理利器kubernetes详谈-CSDN.NET

docker swarm英文文档学习-8-在集群中部署服务

Deploy services to a swarm在集群中部署服务 集群服务使用声明式模型,这意味着你需要定义服务的所需状态,并依赖Docker来维护该状态.该状态包括以下信息(但不限于): 应该运行服务容器的镜像名称和标记有多少容器参与服务是否有任何端口暴露给集群之外的客户端当Docker启动时,服务是否应该自动启动重启服务时发生的特定行为(例如是否使用滚动重启)服务可以运行的节点的特征(例如资源约束和位置首选项)有关群模式的概述,请参见 Swarm mode key concepts.有关

构建读写分离的数据库集群

4.1实战案例——构建读写分离的数据库集群 使用Mycat作为数据库中间件服务构建读写分离的数据库集群 使用一台虚拟机部署Mycat数据库中间件服务,将用户提交的读写操作识别分发给相应的数据库 节点.这样将用户的访问操作.数据库的读与写操作分给3台主机,只有数据库集群的主节点接 收增.删.改SQL语句,从节点接收查询语句,分担了主节点的查询压力 基础准备 使用CentOS 7.2系统,创建3台虚拟机进行实验. 其中2台虚拟机db1和db2部署MariaDB数据库服务,搭建主从数据库集群:一台作为

010.Docker Compose构建WordPress实战

一 前期规划 类型 版本 备注 WordPress镜像 wordpress:latest MySQL数据库 5.7 Docker已安装,参考<002.Docker版本及安装>. Docker Compose已安装,参考<009.Docker Compose基础使用>. 二 正式构建 2.1 创建目录 1 [email protected]:~# mkdir my_wordpress 2 [email protected]:~# mkdir /db_data #创建用于存储MySQL

elasticsearch与mongodb分布式集群环境下数据同步

1.ElasticSearch是什么 ElasticSearch 是一个基于Lucene构建的开源.分布式,RESTful搜索引擎.它的服务是为具有数据库和Web前端的应用程序提供附加的组件(即可搜索的存储库).ElasticSearch为应用程序提供搜索算法和相关的基础架构,用户只需要将应用程序中的数据上载到ElasticSearch数据存储中,就可以通过RESTful URL与其交互.ElasticSearch的架构明显不同于它之前的其他搜索引擎架构,因为它是通过水平伸缩的方式来构建的.不同