EFK教程 - ElasticSearch角色分离

通过将elasticsearch的data、ingest、master角色进行分离，搭建起高性能+高可用的ES架构

作者：“发颠的小狼”，欢迎转载与投稿

目录

? 用途
? 架构
? 步骤说明
? elasticsearch-data部署
? elasticsearch-ingest部署
? elasticsearch-master部署

用途

在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。

在本文中，将进行角色分离部署，并且每个角色分别部署三节点，在实现性能最大化的同时保障高可用。

? elasticsearch的master节点：用于调度，采用普通性能服务器来部署
? elasticsearch的ingest节点：用于数据预处理，采用性能好的服务器来部署
? elasticsearch的data节点：用于数据落地存储，采用存储性能好的服务器来部署

若不知道去哪找《EFK教程 - 快速入门指南》，可在主流搜索引擎里搜索：
小慢哥 EFK教程 快速入门指南
或者
小慢哥 EFK教程 基于多节点ES的EFK安装部署配置

架构

服务器配置

注意：此处的架构是之前的文章《EFK教程 - 快速入门指南》的拓展，因此请先按照《EFK教程 - 快速入门指南》完成部署

步骤说明

1?? 部署3台data节点，加入原集群
2?? 部署3台ingest节点，加入原集群
3?? 将原有的es索引迁移到data节点
4?? 将原有的es节点改造成master节点

elasticsearch-data部署

之前已完成了基础的elasticsearch架构，现需要新增三台存储节点加入集群，同时关闭master和ingest功能

elasticsearch-data安装：3台均执行相同的安装步骤

tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz
mv elasticsearch-7.3.2 /opt/elasticsearch
useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin
mkdir -p /opt/logs/elasticsearch
chown elasticsearch.elasticsearch /opt/elasticsearch -R
chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R
# 数据盘需要elasticsearch写权限
chown elasticsearch.elasticsearch /data/SAS -R

# 限制一个进程可以拥有的VMA(虚拟内存区域)的数量要超过262144，不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144]
echo "vm.max_map_count = 655350" >> /etc/sysctl.conf
sysctl -p

elasticsearch-data配置

? 192.168.1.51 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.51
# 数据盘位置，如果有多个硬盘位置，用","隔开
path.data: /data/SAS
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.51

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

# 关闭master功能
node.master: false
# 关闭ingest功能
node.ingest: false
# 开启data功能
node.data: true

? 192.168.1.52 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.52
# 数据盘位置，如果有多个硬盘位置，用","隔开
path.data: /data/SAS
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.52

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

# 关闭master功能
node.master: false
# 关闭ingest功能
node.ingest: false
# 开启data功能
node.data: true

? 192.168.1.53 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.53
# 数据盘位置，如果有多个硬盘位置，用","隔开
path.data: /data/SAS
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.53

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

# 关闭master功能
node.master: false
# 关闭ingest功能
node.ingest: false
# 开启data功能
node.data: true

elasticsearch-data启动

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-data状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

elasticsearch-data参数说明

status: green  # 集群健康状态
node.total: 6  # 有6台机子组成集群
node.data: 6  # 有6个节点的存储
node.role: d  # 只拥有data角色
node.role: i  # 只拥有ingest角色
node.role: m  # 只拥有master角色
node.role: mid  # 拥master、ingest、data角色

elasticsearch-ingest部署

现需要新增三台ingest节点加入集群，同时关闭master和data功能

elasticsearch-ingest安装：3台es均执行相同的安装步骤

tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz
mv elasticsearch-7.3.2 /opt/elasticsearch
useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin
mkdir -p /opt/logs/elasticsearch
chown elasticsearch.elasticsearch /opt/elasticsearch -R
chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R

# 限制一个进程可以拥有的VMA(虚拟内存区域)的数量要超过262144，不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144]
echo "vm.max_map_count = 655350" >> /etc/sysctl.conf
sysctl -p

elasticsearch-ingest配置

? 192.168.1.41 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.41
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.41

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

# 关闭master功能
node.master: false
# 开启ingest功能
node.ingest: true
# 关闭data功能
node.data: false

? 192.168.1.42 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.42
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.42

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

# 关闭master功能
node.master: false
# 开启ingest功能
node.ingest: true
# 关闭data功能
node.data: false

? 192.168.1.43 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.43
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.43

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

# 关闭master功能
node.master: false
# 开启ingest功能
node.ingest: true
# 关闭data功能
node.data: false

elasticsearch-ingest启动

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-ingest状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

elasticsearch-ingest参数说明

status: green  # 集群健康状态
node.total: 9  # 有9台机子组成集群
node.data: 6  # 有6个节点的存储
node.role: d  # 只拥有data角色
node.role: i  # 只拥有ingest角色
node.role: m  # 只拥有master角色
node.role: mid  # 拥master、ingest、data角色

elasticsearch-master部署

首先，将上一篇《EFK教程 - 快速入门指南》中部署的3台es（192.168.1.31、192.168.1.32、192.168.1.33）改成只有master的功能， 因此需要先将这3台上的索引数据迁移到本次所做的data节点中

1?? 索引迁移：一定要做这步，将之前的索引放到data节点上

curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H ‘Content-Type: application/json‘ -d‘
{
  "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.52,192.168.1.53"
}‘

2?? 确认当前索引存储位置：确认所有索引不在192.168.1.31、192.168.1.32、192.168.1.33节点上

curl "http://192.168.1.31:9200/_cat/shards?h=n"

elasticsearch-master配置

注意事项：修改配置，重启进程，需要一台一台执行，要确保第一台成功后，再执行下一台。重启进程的方法：由于上一篇文章《EFK教程 - 快速入门指南》里，是执行命令跑在前台，因此直接ctrl - c退出再启动即可，启动命令如下

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

? 192.168.1.31 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.31
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.31

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

#开启master功能
node.master: true
#关闭ingest功能
node.ingest: false
#关闭data功能
node.data: false

? 192.168.1.32 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.32
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.32

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

#开启master功能
node.master: true
#关闭ingest功能
node.ingest: false
#关闭data功能
node.data: false

? 192.168.1.33 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application
node.name: 192.168.1.33
path.logs: /opt/logs/elasticsearch
network.host: 192.168.1.33

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]
cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]
http.cors.enabled: true
http.cors.allow-origin: "*"

#开启master功能
node.master: true
#关闭ingest功能
node.ingest: false
#关闭data功能
node.data: false

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-master状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

至此，当node.role里所有服务器都不再出现“mid”，则表示一切顺利完成。

原文地址：https://blog.51cto.com/cyent/2450471

时间： 2024-07-31 12:16:04

EFK教程 - ElasticSearch角色分离的相关文章

EFK教程(3) - ElasticSearch多实例部署

基于ElasticSearch多实例架构,实现资源合理分配.冷热数据分离 作者:"发颠的小狼",欢迎转载与投稿 目录 ? 用途? 架构? 192.168.1.51 elasticsearch-data部署双实例? 192.168.1.52 elasticsearch-data部署双实例? 192.168.1.53 elasticsearch-data部署双实例? 测试 用途 前情提要: ? 在第一篇<EFK教程 - 快速入门指南>中,阐述了EFK的安装部署,其中ES的架构为

EFK教程(4) - ElasticSearch集群TLS加密通讯

基于TLS实现ElasticSearch集群加密通讯 作者:"发颠的小狼",欢迎转载 目录 ? 用途? ES节点信息? Step1. 关闭服务? Step2. 创建CA证书? Step3. 创建CERT证书? Step4. 创建密钥库? Step5. 删除CA证书? Step6. 修改elasticsearch.yml配置? Step7. 启动服务? 附. 参考文档 用途 前情提要: ? 在第一篇<EFK教程 - 快速入门指南>中,阐述了EFK的安装部署,其中Elastic

EFK教程(5) - ES集群开启用户认证

基于ES内置及自定义用户实现kibana和filebeat的认证 作者:"发颠的小狼",欢迎转载 目录 ? 用途 ? 关闭服务 ? elasticsearch-修改elasticsearch.yml配置 ? elasticsearch-开启服务 ? elasticsearch-建立本地内置用户 ? kibana-创建私钥库 ? kibana-WEB界面确认用户 ? filebeat-在WEB界面创建角色及用户 ? filebeat-服务器上创建密钥库 ? filebeat-配置file

EFK教程 - EFK快速入门指南

通过部署elasticsearch(三节点)+filebeat+kibana快速入门EFK,并搭建起可用的demo环境测试效果 作者:"发颠的小狼",欢迎转载与投稿 目录 ? 用途 ? 实验架构 ? EFK软件安装 ? elasticsearch配置 ? filebeat配置 ? kibana配置 ? 启动服务 ? kibana界面配置 ? 测试 ? 后续文章 用途 ? 通过filebeat实时收集nginx访问日志.传输至elasticsearch集群 ? filebeat将收集的日

EFK教程 - 基于多节点ES的EFK安装部署配置

通过部署elasticsearch(三节点)+filebeat+kibana快速入门EFK,并搭建起可用的demo环境测试效果 作者:"发颠的小狼",欢迎转载与投稿 目录 ? 用途? 实验架构? EFK软件安装? elasticsearch配置? filebeat配置? kibana配置? 启动服务? kibana界面配置? 测试? 后续文章 用途 ? 通过filebeat实时收集nginx访问日志.传输至elasticsearch集群? filebeat将收集的日志传输至elasti

【OpenCV入门教程之五】 分离颜色通道&amp;多通道图像混合

上篇文章中我们讲到了使用addWeighted函数进行图像混合操作,以及将ROI和addWeighted函数结合起来使用,对指定区域进行图像混合操作. 而为了更好的观察一些图像材料的特征,有时需要对RGB三个颜色通道的分量进行分别显示和调整.通过OpenCV的split和merge方法可以很方便的达到目的. 一.分离颜色通道 就让我们来详细介绍一下这两个互为冤家的函数.首先是进行通道分离的split函数. <1>split函数详解 将一个多通道数组分离成几个单通道数组.ps:这里的array按

ElasticSearch——冷热分离

背景 最近在做订单数据存储到ElasticSearch,考虑到数据量比较大,采用冷热架构来存储,每月建立一个新索引,数据先写入到热索引,通过工具将3个月后的索引自动迁移到冷节点上. 冷热架构 官方叫法:热暖架构——“Hot-Warm” Architecture. 通俗解读:热节点存放用户最关心的热数据:温节点或者冷节点存放用户不太关心或者关心优先级低的冷数据或者暖数据. 1.1 官方解读冷热架构 为了保证Elasticsearch的读写性能,官方建议磁盘使用SSD固态硬盘.然而Elasticse

Elasticsearch教程 Elasticsearch查询语法 Elasticsearch权威指南 深入理解Elasticsearch

课程大纲 第1节结构化搜索_IT技术论坛案例背景介绍 9分钟 第2节结构化搜索_在案例中实战使用term filter来搜索数据 20分钟 第3节结构化搜索_filter执行原理深度剖析(bitset机制与caching机制)18分钟 第4节结构化搜索_在案例中实战基于bool组合多个filter条件来搜索数据 12分钟 第5节结构化搜索_在案例中实战使用terms搜索多个值以及多值搜索结果优化 7分钟 第6节结构化搜索_在案例中实战基于range filter来进行范围过滤 5分钟 第7节深度

EFK教程-1

elasticsearch安装:3台es均执行相同的安装步骤 mkdir -p /opt/software && cd /opt/software wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.2-linux-x86_64.tar.gz tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz mv elasticsearch-7.3.2 /o