ElasticSearch架构思考(转)

一个ElasticSearch集群需要多少个节点很难用一种明确的方式回答,但是,我们可以将问题细化成一下几个,以便帮助我们更好的了解,如何去设计ElasticSearch节点的数目:

  1. 打算处理多少数据?
  2. 打算处理多少搜索请求?
  3. 请求的复杂度是怎样?
  4. 每个节点有多少资源数?
  5. 打算建立多少索引,支持多少应用?

一个集群解决所有问题?

需要回答的问题远不止以上这些,但是第五个问题往往是容易被我们忽视的,因为单个ElasticSearch集群有能力支持多索引,也就能支持多个不同应用的使用。我们可以将公司里所有的日志都放在一个ElasticSearch集群下处理,无论是网站上的一个简单查询,还是一个非常复杂的分析。了解一个集群能支持多少个应用程序的日志需求,能帮助我们分析出合适的节点数目。

节点数与内存相关

ElasticSearch 的节点数受RAM的限制,对于某个服务器或虚拟机,我们分配的物理或虚拟内存是有限的,这样自然限制了我们分配节点的数量。

万能节点数——3

如果我们要建立一个ElasticSearch集群,一个比较合适的数字是3。为什么3?很大程度上一个集群3个节点可以防止“split-brain”出现,尽管,对于一个分布式的集群,每个节点都是对等的,但是我们仍然需要一个主节点master。这个节点承担协调自己以及其他所有节点间的通信任务。在ES中,主节点除了负责以上工作,它还会对分片与副本的存储进行优化,同时还要处理索引、写入数据和路由索引优化等问题。

三个和尚投票

当主节点master出现问题,从节点slave不能与主节点通信时,从节点会发起选举任命新的主节点,同时新的master会接管旧master的所有工作,如果旧master重新恢复并加入到集群中,新master会将原来旧的master降级为slave,这样就不会有冲突发生。所有这个过程都由ElasticSearch自己处理,使用者无需任何参与。

两个和尚投票

但是,当只有两个节点的时候,一主(master)一从(slave),如果主从直接的通信出现问题时,从节点slave会自我提升为master,但是当恢复通信时,我们就会同时有两个master。因为此时,对于原来的主节点(master)角度考虑,它认为是原来的从节点(slave)出现问题,现在仍然需要作为slave重新加入。这样,两个节点的时候,我们就出现了集群不知道将哪个节点选举为主节点的情况,也就是我们通常说的“分脑”。

为了防止这种情况的发生,第三个节点的出现会打破平衡,解决冲突问题。

三个和尚仍然存在问题

分脑的问题同样会出现在具有三或三个以上节点的集群中,为了降低发生的概率,ElasticSearch提供了一个配置 discovery.zen.minimummasternodes 它规定了在选举新的master时,一个集群下最少需要的节点数。例如,一个3节点集群,这个数字为2,2个节点可以防止单个节点在脱离集群时,将其自己选举成master,相反,它会等待直到重新加入到集群中。这个数值可以通过一个公式确定:

N/2 + 1 N的值为集群下所有节点的数目。

牺牲可用性

防止两个节点集群出现“分脑”情况有一个办法,就是将其中一个节点 node.data 的配置设置为 false,这样,这个节点就永远不会成为master,当然,这也会降低集群的可用性。

小结

对于ElasticSearch集群的节点数没有定论,ElasticSearch的工程师在Quora上也给出了他的相似意见https://www.quora.com/Whats-the-maximum-number-of-nodes-Elasticsearch-can-have-How-many-max-have-you-used-in-practice

资料

elasticsearch系列:http://www.cnblogs.com/richaaaard/category/783901.html

时间: 2024-10-10 22:12:28

ElasticSearch架构思考(转)的相关文章

小钢的架构思考:架构设计

原创文章,转载请注明:转载自Keegan小钢并标明原文链接:http://keeganlee.me/post/architecture/20160621微信订阅号:keeganlee_me写于2016-06-21 小钢的架构思考:什么是架构小钢的架构思考:架构规划小钢的架构思考:架构设计 最近一个多月因为忙于工作上的项目重构,所以文章一直没能更新.现在,重构终于暂时告一段落,于是,赶紧抽时间把文章写完更新发布.下面进入正文. 当架构规划的结果,整理出一堆不同优先级的需求,尤其是质量需求之后,接下

Java生鲜电商平台-电商中海量搜索ElasticSearch架构设计实战与源码解析

Java生鲜电商平台-电商中海量搜索ElasticSearch架构设计实战与源码解析 生鲜电商搜索引擎的特点 众所周知,标准的搜索引擎主要分成三个大的部分,第一步是爬虫系统,第二步是数据分析,第三步才是检索结果.首先,电商的搜索引擎并没有爬虫系统,因为所有的数据都是结构化的,一般都是微软的数据库或者 Oracle 的数据库,所以不用像百度一样用「爬虫」去不断去别的网站找内容,当然,电商其实也有自己的「爬虫」系统,一般都是抓取友商的价格,再对自己进行调整. 第二点,就是电商搜索引擎的过滤功能其实比

Elasticsearch 架构原理

为什么要学习架构? Elasticsearch的一些架构设计,对我们做性能调优.故障处理,具有非常重要的影响.下面将从Elasticsearch的准实时索引的实现.自动发现.rounting和replica的读写过程,shard的allocate控制 使文本可以被搜索? 在传统的数据库中,一个字段存一个值,但是这对于全文搜索是不足的.想要让文本中的而每个单词都可以被搜索,这意味着数据库需要多个值. 支持一个字段多个值的最佳数据结构是倒排索引.倒排索引包含了出现在所有文档中唯一的值或或词的有序列表

一种基于Storm的可扩展即时数据处理架构思考

问题引入 使用storm可以方便的构建一种集群式的数据框架,并通过定义topo来实现业务逻辑. 但使用topo存在一个缺点, topo的处理能力来自于其启动时设置的worker数目,在很多情况下,我们需要能够根据业务压力来调整集群的处理能力,这时候单一的topo就无法解决这个问题了. 为了能够更加灵活的定义处理能力,可以考虑将原有的topo根据业务域进行拆分,做到互不干扰,灵活控制,而且为了能够更加经济的利用处理资源,可以考虑引入worker资源池的概念,达到对资源的充分利用. 但使用这种多to

编程架构思考

架构,作为程序员是必须的,好的架构提供代码重用的可能性(因为模块化/对象化,而且模块/对象间松散耦合),提供灵活的扩展性(方便加入其他模块和功能),代码维护性和可读性好 . 人类的认识总是连续性上升的,不会飞跃,所以随着时间推移,架构技术也在更新,所以你需要关心一些新的架构技术.新的通信技术.新的框架.例如ROS机器人系统第一代使用master方式,ROS2使用新的DDS技术方式. 其实很多技术的相似的,思想是相似的,你需要自己提炼一下,理解好,实际操作实践一下,从而提高自己水平. <设计模式>

图片系统架构思考之一:删除图片--不容忽视

对于一个网站系统,图片的处理往往是一个不可或缺的事情,不管是淘宝还是京东,每天都有大量的产品上架.下架,其中就涉及到了大量图片的管理.比如很简单的一个产品表,里面有:产品ID.产品名称.产品图片 字段,此时应该怎么保存产品图片呢? 一种方式是将图片保存到数据库里面,采用blob类型的字段,此时该字段的内容就是图片的二进制表示:另外一种方式是将图片保存到普通的文件系统上,比如windows或者linux的分区上,在数据库的相应字段中保存的是该图片文件的路径信息,该模式的一个简单示意图如下:当客户端

Android架构思考:没有完美的架构,只有合适的架构

app发展到一定规模,就面临方法数超过65535的问题,前路怎么走,是像美团或者微信那样拆分成多个dex还是像淘宝,携程那样拆成多个bundle,怎么向前走? 没有完美的架构,只有合适的架构.但是类似电商业务的app还是比较适合做多bundle方案,因为一个app中包含很多业务,而且业务都在快速迭代,除了核心链路,业务之间没有直接联系,这些业务都是由各个小团队负责,拆分成多bundle以后,加快了编译速度和启动速度,还可以做懒加载,按需加载,动态部署,做多bundle方案需要团队对app启动过程

工业4.0在工业企业内实施的架构思考【一】

德国“工业4.0”将积极部署 信息物理系统(CPS CPS,Cyber-Physical Systems))平台,实现工厂的“智能制造”. “智能制造”已成为全球制造业发展的新趋势,智能设备和生产手段在未来必将广泛替代传统的生产方式. 而CPS将改变人类与物理世界的交互方式,能够使未来制造业中的物质生产力与能源.材料和信息3种资源高度融合,对实现“智能工厂”和“智能制造”提供有效保障. 美国.德国等世界工业强国都高度重视信息物理系统的构建,加强战略性.前瞻性的部署,并已取得了积极的研究进展. 而

vue/react/angular开发的css架构思考

前端开发现在已经从传统的后端web多页面开发模式转向前端单页SPA开发模式,而vuejs/react/angular则是开发SPA非常优秀的前端框架.组件化开发由react最早提出,vuejs后发优势,将组件化开发贯彻到了极致.虽然spa开发由于组件式开发带来的组件重用,可维护,可扩展非常好,但是css样式的管理一直是一个令前端团队头疼的问题,特别是当页面越来越复杂,并且有多个SPA页面时如何能够让样式重用,并且可维护,可扩展并没有一个特别有效和被验证过的普适方案.本文试图总结一些css模块化在