solrcloud随笔DistributedQueue

solrcloud有两个公开的队列一个是Overseer Job Queue,另一个是Overseer Collection Queue,这两个队列分别通过两个Overseer进行读取并执行相关的操作。另外还有一个临时存储的队列,是针对OverSeer Job Queue容错的,这里不描述。

  1. OverSeer Job Queue
    主要存储一些对ClusterState节点的JSON进行修改操作的数据,例如添加collection,删除collection,添加删除shard、replica等,要注意的是,这里的操作是仅仅针对与ClusterState在zookeeper里面的数据修改,并不会直接对solr里面的core或者数据进行修改,可以认为是对整个集群状态的一个维护。这个队列里面
  2. Overseer Collection Queue

    这个队列里面存贮的消息才是对collection的一些真实的操作消息,由OverseerCollectionProcessor类进行读取并进行相应的操作,这个队列里面的处理事件,对应着CollectionsHanlder里面的各个请求事件,由于大多数操作是需要同步操作的,所以这个队列里面的请求是都有响应的

关于队里的一些常用操作实现:

  • offer(byte[] data)
    在zk的某个节点下面创建一个PERSISTENT_SEQUENTIAL的节点,并且设置数据
  • offer(byte[] data, long timeout)
    在上面offer操作的同时,添加一个带有特殊响应字符前缀的节点,然后设定一个timeout来Watch这个节点,如果有变化,就拿这个节点的数据作为响应数据,并且删除响应节点(这个有个疑惑,下面再说)
  • take
    这个方法比较简单,就是直接拿队列节点下面的子节点,做下顺序排序,然后取第一个节点,并且删除这个节点,如果删除成功就认为拿到了这个节点的数据,否则就认为其他人拿走了,往后面去下面的节点继续操作,直到没有更多的节点了。这个方法会一直堵塞一个默认的超时时间,直到拿到队列里面的一条数据
  • element
    这个方法是直接拿队列里面的第一个节点的数据,但是不删除这个节点,并且没有数据的话就立即返回,拿数据的方法和take类似
  • peek(long wait)
    这个方法和element类似,只是可以等待一段时间看是否有数据可以拿
  • remove()
    remove和take其实差不多,但是有点细微区别,take在没有数据的时候是等待,而remove没有数据则直接抛出NoSuchElementException了
  • remove(QueueEvent event)
    最后这个方法是提供删除某个节点,并且设置这个节点的响应数据,方法比较简单,直接根据event的path删除节点,并且拼出response path设置响应数据,但是这里在offer(byte[] data, long timeout)拿响应的时候有个疑问,就是offer是先创建队列节点,再创建响应response path节点,而这里remove在没有response path的实际,响应就直接忽略了,设想某种场景下,A client比较卡,设置了数据节点,但是还没来得及设置response节点的时候,数据已经被较快的B client读取完了并且返回数据也直接抛弃了,那么take就只有一直wait到timeout也拿不到响应的数据,因为数据已经丢失了
时间: 2024-10-14 08:17:53

solrcloud随笔DistributedQueue的相关文章

Solrcloud(Solr集群)

Solrcloud(Solr集群) Solrcloud介绍: SolrCloud(solr集群)是Solr提供的分布式搜索方案. 当你需要大规模,容错,分布式索引和检索能力时使用SolrCloud. 当索引量很大,搜索请求并发很高时,同样需要使用SolrCloud来满足这些需求. 不过当一个系统的索引数据量少的时候是没有必要使用SolrCloud的. SolrCloud是基于Solr和Zookeeper的分布式搜索方案.它的主要思想是使用Zookeeper作为SolrCloud集群的配置信息中心

C#博客随笔之六:数据绑定

这一篇随笔记录的是在完成程序中遇到的一些情况 首先要讲的是MVVM 所谓MVVM就是Model,View,ViewModel 下面是MVVM的优点(引用自百度百科): MVVM模式和MVC模式一样,主要目的是分离视图(View)和模型(Model),有几大优点1. 低耦合.视图(View)可以独立于Model变化和修改,一个ViewModel可以绑定到不同的"View"上,当View变化的时候Model可以不变,当Model变化的时候View也可以不变.2. 可重用性.你可以把一些视图

Solr4.8.0源码分析(22)之 SolrCloud的Recovery策略(三)

Solr4.8.0源码分析(22)之 SolrCloud的Recovery策略(三) 本文是SolrCloud的Recovery策略系列的第三篇文章,前面两篇主要介绍了Recovery的总体流程,以及PeerSync策略.本文以及后续的文章将重点介绍Replication策略.Replication策略不但可以在SolrCloud中起到leader到replica的数据同步,也可以在用多个单独的Solr来实现主从同步.本文先介绍在SolrCloud的leader到replica的数据同步,下一篇

Abby's 学习php5随笔

2017.6.27 Abby's cakephp2 学习之旅 下载了XAMPP集成开发环境,然后配置其数据库,参考学习教程, 1.建立表单. 配置完信息如下,Cache Apache默认在windows下是system用户,所以权限最高,但xampp集成环境中的apache确是administor 如何更改apache用户为system 静默开发.(一种开发方法,番茄ToDo中的学霸模式有些相似) 如何设置.ctp的显示 http://cakephp2.local/posts/index怎么就可

java基础随笔 字符数据类型char的单引号

public class Love{ public static void main(String[] args){ System.out.println('*'+'\t'+'*'); System.out.println("*"+"\t"+"*") } } 运行结果   第一行为  93 第二行为  *        * 原因 第一行中'\t' 单引号  识别为字符数据类型char,char类型是可以运算的,在第一行中+做了运算符. 第二行&q

web前端学习随笔

好好算下来,学习web前端已有半个月了,这半个月来主要学习的是HTML和CSS部分,期间有困惑,也有解决困惑时的快感,所以想把这段时间感受到的一些东西记下来,因为内容比较杂,所以干脆叫随笔吧.这里面不会说前端的相关基础知识,只是说一些自己对前端的一些认识. html是用来控制页面结构的我曾经对这句话有过疑问,觉得html应该是控制页面内容的,为什么要说是控制页面结构的呢?在查看京东首页的代码时,我恍然大悟,html确实是定义页面内容的,但同时它也要控制页面的结构.举例来说,京东商品分类的div包

JavaWeb学习随笔

Servlet学习随笔 1.HttpServlet init(ServletConfig)------Servlet生命周期中的初始方法,默认情况是服务器创建后第一次访问这个Servlet时调用,可以修改配置信息,使其在服务器一创建时就被调用; 修改配置信息的方法-----在web.xml的<servlet>下添加<load-on-startup>x<load-on-startup>,x是正整数,越小表示优先级越高 url路径的配置,完全匹配>目录匹配>(.

SolrCloud今日大纲

SolrCloud今日大纲(了解) ●    分布式集群系统基本概念 ●    SolrCloud入门 ●    SolrCloud搭建 ***************************************************************************************************** 1.    分布式集群系统基本概念介绍 1.1    单台服务器存在的问题 URL: http://localhost:8080/xxx localhost其

想知道博客园随笔总阅读量吗?

我真的是闲的无聊了...,前提是你写的随笔总数少于等于40条. 0.在选项里设置一页显示40条随笔 1,打开自己的随笔列表:https://i.cnblogs.com/posts 2,在当前页面f12打开浏览器控制台 3,粘贴进去以下代码 var trs=document.querySelectorAll('#post_list tr td:nth-child(4)')//取得阅读量 atrs=Array.from?Array.from(trs):Array.prototype.slice.ca