elk升级文档

1.kibana等都统一版本了,5.4版本的kibana要5.4版本的elasticsearch

2.现有架构:

logstash

logstash读取日志--------》内网redis做队列------------------》写入elasticsearch集群--------》kibana读取集群数据

3.升级版本要求:

Upgrade From Upgrade To Supported Upgrade Type
1.x 5.x Reindex to upgrade
2.x 2.y Rolling upgrade (where y > x)
2.x 5.x Full cluster restart
5.0.0 pre GA 5.x Full cluster restart
5.x 5.y Rolling upgrade (where y > x)

不同主版本之间需要全部关停升级,同一个主版本可以短时间不同小版本es之间运行,高版本的es不会像低版本的同步shards

4.升级注意事项

/etc/sysctl.conf

vm.max_map_count = 262144

/etc/security/limits.conf

* soft nofile 655350

* hard nofile 655360

还有应用到的参数,很多改变了,需要提前修改

升级步骤:

1.配置项变更

2.禁用自动分片 disabled shard allocation

curl -XPUT ‘localhost:9200/_cluster/settings?pretty‘ -H ‘Content-Type: application/json‘ -d‘

{

"persistent": {

"cluster.routing.allocation.enable": "none"

}

}

3.将内存数据同步到磁盘

curl -XPOST ‘localhost:9200/_flush/synced?pretty‘

A synced flush request is a “best effort” operation. It will fail if there are any pending indexing operations, but it is safe to reissue the request multiple times if necessary.

4.关闭节点,执行升级

升级详细步骤:

tips:这里是源码包升级

(1)解压到安装目录,不要覆盖原程序目录

(2)从老程序复制config下面的文件到新程序中

  • Either copy the files in the  directory from your old installation to your new installation, or set the environment variable  to the location of the  file and use the  option on the command line to point to an external config directory.

(3)复制老程序/data目录下的数据到新目录到新的数据目录或者改改路径到老目录

  • Either copy the files in the  directory from your old installation to your new installation, or configure the location of the data directory in the  file, with the  setting.

(4)更新所有插件

Elasticsearch plugins must be upgraded when upgrading a node. Use the  script to install the correct version of any plugins that you need.

5.启用节点,开始自动分片(会先变为yellow状态,最后变绿),查看是否加入集群

Start the now upgraded node and confirm that it joins the cluster by checking the log file or by checking the output of this request:

curl -XGET ‘localhost:9200/_cat/nodes?pretty‘

6.重新开始分片Reenable shard allocation

Once the node has joined the cluster, reenable shard allocation to start using the node:

curl -XPUT ‘localhost:9200/_cluster/settings?pretty‘ -H ‘Content-Type: application/json‘ -d‘

{

"transient": {

"cluster.routing.allocation.enable": "all"

}

}

7.等集群恢复 Wait for the node to recover

ou should wait for the cluster to finish shard allocation before upgrading the next node. You can check on progress with the request。

查看集群状态是否正确:

curl -XGET ‘localhost:9200/_cat/health?pretty‘

论点:

问题1

目前只有在1.x里创建的索引升5.x才需要重建数据。如果是2.x -> 5.x无需重建数据,可以比较平滑的升级。 如果不幸就是用的1.x,那么分场景。 数据规模大的场景通常是日志型应用,一般按天创建索引,那么可以先升级到2.x,然后等一段时间,直到1.x里创建的索引退化到没有用可以删除以后,再升级到5.x。 其他用作垂直搜索的场景,只能重新索引数据了,但是这种场景里数据规模一般不是太大,重新索引耗时不会太多。

升级本身做好准备的话很快,停机做集群full restart,1小时不到集群就可以恢复到yellow状态,重新投入使用,恢复到green状态则可能需要数小时。

snapshot and restore官方有提供一个升级兼容性检测工具: https://github.com/elastic/elasticsearch-migration/。 这个工具可以发现不兼容的集群配置项,这些配置项需要在部署5.x的时候按照建议做相应的修改。另外如果集群里有1.x创建的索引,这个工具也会指出来,并且可以直接在界面上点点按钮做reindex。

not_analyzed字段升级后依然是string / not_analyzed,并不会自动改成keyword,但是5.x可以兼容这个字段类型,数据写入没问题。

迁移帮助工具(elasticsearch-migration)

参考文档:

https://www.elastic.co/guide/en/elasticsearch/reference/current/rolling-upgrades.html#upgrade-node

时间: 2025-01-04 23:11:50

elk升级文档的相关文章

李洪强iOS开发之-环信02.1_环信 SDK 2.x到3.0升级文档

李洪强iOS开发之-环信02.1_环信 SDK 2.x到3.0升级文档 SDK 2.x 至 3.0 升级指南 环信 SDK 3.0 升级文档 3.0 中的核心类为 EMClient 类,通过 EMClient 类可以获取到 chatManager.groupManager.contactManager.roomManager对象.原来 2.0 版本的 SDK 很多方法提供了同步.异步回调.异步(block)三种方法,3.0 版只提供同步方法(async开头的方法为异步方法). 例如: //2.0

ORACLE 12.1.0.1 至12.1.0.2升级文档(单机版 DBUA方式)

12C DBUA新特性 1. 新的pre-upgrade 检查工具. 2. 并行升级. 3. DBUA升级时,默认并行度为CPU个数或2. 并行度可调整. 4. 在升级过程中,DBUA工具可再次调用(restarted). 5. 更详细的日志来监控升级的进度. 6. CDB 和 PDB 同时都会升级. 7. listener 会迁移至新的版本中. 8. 所有的数据文件和临时文件会更改为自动扩展. 如下,着重讲一下12c的pre-upgrade 检查工具: 具体参考MOS: How to Down

ELK安装文档 + 索引可视化

++elk官网:www.elastic.co++ filebeat: 搜集日志Elasticsearch: 存储日志Kibana: 查寻和可视化日志: elasticsearch部署 elasticsearch下载地址: wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.tar.gz ======================================================

ewebeditor升级文档

保留原来的jsp文件夹!

ORACLE 10.2.01升级10.2.05 for windows 详细文档

最近要做一个数据库的升级工作,提前在自己的PC机上练习了一下,这种文档在网上很多,但是大多都是使用命令编辑脚本,其实数据库还有一个DBUA的升级工具可以使用,使升级工作方便了很多. OS环境:windows XP 32位 PC 数据库版本:10.20.01 升级版本:10.20.05 操作步骤:1.备份数据库软件和数据库,因为迁移一旦失败,可以迅速恢复. 2.使用metalink下载升级包 3.关闭数据库所有的后台服务,在管理工具内停止. 4.升级数据库软件 5.升级数据库 //metalink

【swupdate文档 三】SWUpdate: 嵌入式系统的软件升级

SWUpdate: 嵌入式系统的软件升级 概述 本项目被认为有助于从存储媒体或网络更新嵌入式系统.但是,它应该主要作为一个框架来考虑,在这个框架中可以方便地向应用程序添加更多的协议或安装程序(在SWUpdate中称为处理程序). 一个用例是从外部本地媒体(如USB-Pen或sd卡)进行更新.在这种情况下,更新是在没有操作员干预的情况下完成的:它被认为是"一键更新",软件在复位时启动,只需按下一个键(或者以任何目标可以识别的方式),自动进行所有检查.最后,更新过程只向操作员报告状态(成功

企业网盘客户案例,武汉格雷斯酒店信息化升级,启动文档云分享

云盒子企业网盘自成立以来,始终以"致力为各行业提供专业.精细化的文档云协作服务"为目标,目前在全球已经服务超过20个行业,200万+政企用户.每一次用户服务都是为了更好的解决各行业面临文档管理的难题,针对其行业特点,定制专属企业网盘方案,为企业提供更高效的文档云办公. 这一次,我们分享的企业网盘客户案例是武汉光谷格雷斯大酒店. 酒店简介 武汉格雷斯大酒店由香港格雷斯国际酒店有限公司管理,在2013年正式开业,坐落在中国光谷中心腹地--武汉东湖高新技术开发区大学园路.格雷斯酒店是一家以国

ELKB5.2.2集群环境部署及优化终极文档

ELKB5.2.2集群环境部署 本人陆陆续续接触了ELK的1.4,2.0,2.4,5.0,5.2版本,可以说前面使用当中一直没有太多感触,最近使用5.2才慢慢有了点感觉,可见认知事务的艰难,本次文档尽量详细点,现在写文档越来越喜欢简洁了,不知道是不是不太好.不扯了看正文(注意这里的配置是优化前配置,正常使用没问题,量大时需要优化). 备注: 本次属于大版本变更,有很多修改,部署重大修改如下: 1,filebeat直接输出kafka,并drop不必要的字段如beat相关的 2,elasticsea

你离 精通微服务 只差一个阿里资深架构师整理的微服务实战文档

前言 什么是微服务 在介绍微服务时,首先得先理解什么是微服务,顾名思义,微服务得从两个方面去理解,什么是"微".什么是"服务", 微,狭义来讲就是体积小.著名的"2 pizza 团队"很好的诠释了这一解释(2 pizza 团队最早是亚马逊 CEO Bezos提出来的,意思是说单个服务的设计,所有参与人从设计.开发.测试.运维所有人加起来 只需要2个披萨就够了 ). 而所谓服务,一定要区别于系统,服务一个或者一组相对较小且独立的功能单元,是用户可以