es lucene搜索及聚合流程源码分析

本文以TermQuery,GlobalOrdinalsStringTermsAggregator为例,通过代码,分析es,lucene搜索及聚合流程。
1:协调节点收到请求后,将search任务发到相关的各个shard。

相关代码:

TransportSearchAction.executeSearch
TransportSearchAction.searchAsyncAction.start
AbstractSearchAsyncAction.executePhase(SearchQueryThenFetchAsyncAction)
InitialSearchPhase.performPhaseOnShard
SearchQueryThenFetchAsyncAction.executePhaseOnShard

2:数据节点查询及聚合一个shard。

相关代码:

SearchService.executeQueryPhase

2.1:根据request构造SearchContext。

SearchContext
包含Query,Aggregator等重要信息。并将记录查询,聚合结果。
Query
根据request创建具体的query,如:
TermQuery:用于keyword,text字段。索引结构为倒排。
PointRangeQuery:用于数字,日期,ip,point等字段。索引结构为k-d tree。
Aggregator
此时仅根据request创建AggregatorFactory,用于后续创建Aggregator。

相关代码:

SearchService.createAndPutContext

2.2:根据SearchContext构造Aggregator。

根据SearchContext构造具体的Aggregator,如:
GlobalOrdinalsStringTermsAggregator:用于keyword字段,开启global ordinal的term聚合。
StringTermsAggregator:用于keyword字段,关闭global ordinal的term聚合。
LongTermsAggregator:用于long字段的term聚合。
TopScoreDocCollector:用于为doc 评分并取topN。

相关代码:
AggregationPhase.preProcess

2.3:创建GlobalOrdinalsStringTermsAggregator,如果cache中没有GlobalOrdinals,将创建GlobalOrdinals,并cache。当shard下数据发生变化时,应当清空cache。

GlobalOrdinals
将所有segment ,指定field的所有term排序,合并成一个GlobalOrdinals,并创建OrdinalMap。collect时,使用doc的segment ord获取global ord。
OrdinalMap
为每一个segmentValueCount小于globalValueCount的segment,保存了一份segment ord到global ord的mapping(LongValues)。对于segment valueCount等于globalValueCount的segment,原本的segment ord就是global ord,后续获取ord时,直接从SortedSetDV(dvd)中读取。
value count
指的是不同term数量(term集合的大小)。使用globalValueCount 用来在collect时,确定结果集的大小。

举例
segment 1:{sorted terms: [aa, bb, cc],ord:[0, 1, 2]}。
segment 2:{sorted terms: [bb, cc, dd],ord:[0, 1, 2]}。
segment 3:{sorted terms: [aa, bb, cc, dd],ord:[0, 1, 2, 3]}。
GlobalOrdinals:{sorted terms: [aa, bb, cc, dd],ord:[0, 1, 2, 3]}。
ordinalMap:segment1:[0, 1, 2]->[0, 1, 2],segment2:[0, 1, 2]->[1, 2, 3]。segment3则使用原始的segment ord。

docCounts
int[globalValueCount],用来记录ord对应的count。
注:经查询条件过滤后,有些ord可能没有对应doc。

bucketOrds
稀疏(value count多,但doc少)时使用,缩减docCounts size。
LongHash:globalOrd与 id (size)映射。collect时在id处++,build agg时取出id对应的count。
当父聚合是BucketAggregator聚合时,子聚合只对父的某个term聚合,所以doc会减少,使用bucketOrds。
注:按照此逻辑,如果query本身有term过滤条件,也应该启用bucketOrds(global_ordinals_hash)。

相关代码:

TermsAggregatorFactory.doCreateInternal。
//获取globalValueCount决定是否global_ordinals_low_cardinality, global_ordinals_low_cardinality中又因不是ValuesSource.Bytes.FieldData,创建global_ordinals。
ValuesSource$WithOrdinals.globalMaxOrd。
//通过获取一个segment的globalOrdinals,触发如果cache中没有一个shardId+field对应的globalOrdinals,load 所有segment ord,建立global ords。
ValuesSource$FieldData.globalOrdinalsValues。
SortedSetDVOrdinalsIndexFieldData.loadGlobal。
IndicesFieldDataCache$IndexFieldCache.load
SortedSetDVOrdinalsIndexFieldData.localGlobalDirect。
GlobalOrdinalsBuilder.build。
//globalOrdinals主要类
GlobalOrdinalsIndexFieldData。
MultiDocValues$OrdinalMap

2.3.1:从docValues中读取单个segment,指定field的ordinals,term等。

相关代码:

SortedSetDVOrdinalsIndexFieldData.load。
SortedSetDVBytesAtomicFieldData.getOrdinalsValues。
//获取segment指定field的SortedSetDocValues
DocValues.getSortedSet。
//获取segment的docValuesReader
SegmentReader.getDocValuesReader。
//读取field的SortedDocValues
Lucene54DocValuesProducer.getSortedSet。

2.3.2:对多个segment的SortedSetDocValues排序,创建OrdinalMap。

具体为获取每个segment的SortedDocValuesTermsEnum。使用多个SortedDocValuesTermsEnum构建成小顶堆,合并成一个。

相关代码:

MultiDocValues$OrdinalMap.build。
MultiTermsEnum
TermMergeQueue
//获取一个segment的segment ord到global ord的mapping。
MultiDocValues$OrdinalMap.getGlobalOrds

2.4:查询及聚合数据。

相关代码:

QueryPhase.execute。

2.4.1:根据Query创建具体的weight。
weigth将用于query segment,并创建scorer。
scorer将用于评分和collect。
如果需要评分,读取field的fst,查询term,定位postings将提前到这里执行。

相关代码:

IndexSearcher.createNormalizedWeight。
TermQuery.createWeight。

2.4.2:为每个leafReader(segment)创建leafCollector。

创建LeafBucketCollector,获取该segment的globalOrds。
globalOrds
如果segment的value count等于global value count,则返回segment ords(从dvd中读取);

如果不等,则从OrdinalMap中获取该segment的GlobalOrdinalMapping,且该segment的value count改为获取global value count。
singleValues
并判断该field的docValues是否为singleValues(keyword single ord,text则为多term多ord)。

相关代码:

//串行查询及聚合一个分片下的所有segment。
IndexSearcher.search。
IndexSearcher.search.collector.getLeafCollector。
GlobalOrdinalsStringTermsAggregator.getLeafCollector。
//获取指定segment的globalOrdinals,如果cache中没有该shardId+field对应的globalOrdinals,load 所有segment ord,建立global ords。
ValuesSource$FieldData.globalOrdinalsValues
//获取一个segment的global ords。
GlobalOrdinalsIndexFieldData$Atomic.getOrdinalsValues
//提供获取该segment ord对应的global ord,使用globalOrd获取termBytes等方法。
GlobalOrdinalMapping
//singleValues
SingletonSortedSetDocValues

2.4.3:query该segment, 获取DocIdSetIterator,并构造scorer。

DocIdSetIterator即查询出的docId集合,对于倒排是PostingsEnum,对于数字使用的是BitSetIterator。

相关代码:

IndexSearcher.search.weight.bulkScorer。
Weight.bulkScorer。
//构造bulkScorer。
TermQuery$TermWeight.scorer。
//查询segment,获取TermsEnum,并根据搜索关键字,定位PostingsEnum位置。
TermQuery$TermWeight.getTermsEnum。

query segment流程如下:

1:根据field读取.tip(fst索引结构,term index)文件,获取该field下所有term前缀构造的索引,并缓存。

FST(Finite State Transducer,有限状态传感器)其他用途:阿里对hbase rowkey索引定位block(类似lucene tip索引term),

自然语言处理中一个单词或汉字下一个状态各个状态的概率。

相关代码:
BlockTreeTermsReader.terms。
FieldReader。
//Load a previously saved FST
FST。

注:官方lucene在open IndexReader(es recovery shard)时,就要通过构造SegmentReader,BlockTreeTermsReader,构造FieldReader,读取FST。

相关代码:

DirectoryReader.open 

2:从fst中查找term,如果能找到的value(fst正常结束),value记录了

该term前缀对应的term dict所在的block(.tim,term dictionary)位置,读取该block,查找具体的term,获取posting所在.doc(postings)的位置。

相关代码:

TermQuery$TermWeight.getTermsEnum.termsEnum.seekExact。
SegmentTermsEnum.seekExact。
SegmentTermsEnumFrame.scanToTerm。
//根据termsEnum(已经设置term)读取postings。
TermQuery$TermWeight.scorer.termsEnum.postings。
SegmentTermsEnum.postings。
//根据termsEnum中的term,设置postings在.doc中位置。
SegmentTermsEnum.postings.currentFrame.decodeMetaData。

3:从.doc中读取postings,返回PostingsEnum(BlockDocsEnum)。

相关代码:

Lucene50PostingsReader.postings。

上述流程如下图:

postings
(docID, termFreq, positions), (docID, termFreq, positions),.....
termFreq
term在该文档出现的次数。
用于对文档频分。
positions
term在该文档中每次的位置。
用于短语查询时,多个term是否连续出现,或者小于指定位置。

2.4.4:遍历PostingsEnum(过滤deleted doc),评分及collect数据。

相关代码:

acceptDocs:getLiveDocs
IndexSearcher.search.scorer.score。
BulkScorer.score。
DefaultBulkScorer.score。
//在查询结果中前进到>=target的docID,并返回docID。
Lucene50PostingsReader$BlockDocsEnum.advance(target)。
//遍历BlockDocsEnum(PostingsEnum)中的查询结果,collect doc。
DefaultBulkScorer.scoreRange。
//collect一个doc。
MultiCollector$MultiLeafCollector.collect。

TopScoreDocCollector对doc评分,并取topN的流程如下:
为该doc评分,并基于score构建N节点的小顶堆,用于保留TopN。

相关代码:

TopScoreDocCollector$SimpleTopScoreDocCollector.collect。

1:根据设置的Similarity,使用BM25或TFIDF等算法为doc评分。

BM25,TFIDF都使用freq,norms(NumericDocValues),算法不同,可能使用的NumericDocValues也不同。

相关代码:

TermScorer.score。
BM25Similarity$BM25DocScorer.score。
TFIDFSimilarity$TFIDFSimScorer.score。
IndexWriterConfig.setSimilarity。
IndexSearcher.setSimilarity。
NumericDocValues。

2:根据doc得到的score构建N节点的小顶堆。

相关代码:

TopScoreDocCollector$SimpleTopScoreDocCollector.collect。
PriorityQueue.updateTop/downHeap/insertWithOverflow。

GlobalOrdinalsStringTermsAggregator统计各term doc数的流程如下:
1:根据doc是否为singleValues,获取doc的ord或ords。

相关代码:

//singleValues获取ord
singleValues.getOrd(doc)。
//获取ords
//设置doc。
GlobalOrdinalsStringTermsAggregator$LeafBucketCollector.collect.globalOrds.setDocument(doc)
AbstractRandomAccessOrds.setDocument(doc)。
//获取doc对应的term基数。
GlobalOrdinalsStringTermsAggregator$LeafBucketCollector.collect.globalOrds.cardinality()。
GlobalOrdinalMapping.cardinality()。
//遍历doc ords。
GlobalOrdinalsStringTermsAggregator$LeafBucketCollector.collect.globalOrds.ordAt(i)。
GlobalOrdinalMapping.ordAt(i)。

2:docCounts(IntArray)对应的ord count++。
如果启用bucketOrds(稀疏处理,见2.3),则将ord映射到bucketOrd,docCounts的bucketOrd位置 count++。

相关代码:

//将ord对应count++。传入doc,用于sub collect。
GlobalOrdinalsStringTermsAggregator.collectGlobalOrd。

2.4.5:取topDocs。TopScoreDocCollector collect时仅保留topN。在此每次取堆顶元素,得到逆序的topN。

相关代码:

TopDocsCollector.topDocs。

2.4.6:根据聚合数据,按docCount取topN,排序。
根据aggregator的数据,按docCount构建小顶堆。
每次取走堆顶元素,逆序放入数组,得到降序的topN。
设置termBytes。

相关代码:

AggregationPhase.execute。
GlobalOrdinalsStringTermsAggregator.buildAggregation。
PriorityQueue.updateTop/downHeap/insertWithOverflow。
//根据globalOrd从所有segment中获取第一个含有该globalOrd的segment,并从该segment中读取term值BytesRef。
GlobalOrdinalMapping.lookupOrd。

3:协调节点reduce 各个shard返回的结果。
使用各shard返回的有序结果,构造堆,合并聚合,合并TopDocs。

相关代码:

InitialSearchPhase.onShardResult。
InitialSearchPhase.onShardFailure。
//reduce结果
FetchSearchPhase.innerRun.resultConsumer.reduce。
SearchPhaseController.reducedQueryPhase。
SearchPhaseController.sortDocs。
//mergeTopDocs
SearchPhaseController.mergeTopDocs。
TopDocs.merge。
TopDocs.mergeAux。
PriorityQueue。

4:fetch数据。
协调发送fecth请求到相关shard,数据节点从stored field中fetch结果。

相关代码:

FetchSearchPhase.innerRun。

参考:
source code: elasticsearch 5.6.12, lucene 6.6.1。
https://www.elastic.co/blog/lucene-points-6.0

PointRangeQuery:abstract class竟然可以有构造方法。

原文地址:https://www.cnblogs.com/vsop/p/12152207.html

时间: 2024-09-30 19:44:03

es lucene搜索及聚合流程源码分析的相关文章

Activity启动流程源码分析之Launcher启动(二)

1.前述 在前一篇文章中我们简要的介绍Activity的启动流程Activity启动流程源码分析之入门(一),当时只是简单的分析了一下流程,而且在上一篇博客中我们也说了Activity的两种启动方式,现在我们就来分析其中的第一种方式--Launcher启动,这种启动方式的特点是会创建一个新的进程来加载相应的Activity(基于Android5.1源码). 2.Activity启动流程时序图 好啦,接下来我们先看一下Launcher启动Activity的时序图: 好啦,接下来我们将上述时序图用代

A2dp初始化流程源码分析

蓝牙启动的时候,会涉及到各个profile 的启动.这篇文章分析一下,蓝牙中a2dp profile的初始化流程. 我们从AdapterState.java中对于USER_TURN_ON 消息的处理说起: switch(msg.what) { case USER_TURN_ON: notifyAdapterStateChange(BluetoothAdapter.STATE_TURNING_ON); mPendingCommandState.setTurningOn(true); transit

5.Spark Streaming流计算框架的运行流程源码分析2

1 spark streaming 程序代码实例 代码如下: [html] view plain copy object OnlineTheTop3ItemForEachCategory2DB { def main(args: Array[String]){ val conf = new SparkConf() //创建SparkConf对象 //设置应用程序的名称,在程序运行的监控界面可以看到名称 conf.setAppName("OnlineTheTop3ItemForEachCategor

SpringMVC(十七):Web.xml加载流程源码分析

之前章节讲解了web.xml如何使用编码的方式替换掉,但是一直没有写web.xml是如何被加载的相关细节,觉得十分有必要写一篇文章类梳理下. 待完成... 参考 <SpringMVC初始化流程> <Spring 4.x源码分析-BeanWrapper> <第三章 DispatcherServlet详解 ——跟开涛学SpringMVC> <SpringMvc之DispatcherServlet详解> <Spring MVC入口Servlet详解(Http

HBase的put流程源码分析

hbase是一个nosql型数据库,本文我们会分析一下客户的数据是通过什么样的路径写入到hbase的. HBase作为一种列族数据库,其将相关性较高的列聚合成一个列族单元,不同的列族单元物理上存储在不同的文件(HFile)内.一个表的数据会水平切割成不同的region分布在集群中不同的regionserver上.客户端访问集群时会首先得到该表的region在集群中的分布,之后的数据交换由客户端和regionserver间通过rpc通信实现,下面我们从hbase源码里探究客户端put数据的流程.本

Android Touch事件派发流程源码分析

分native侧事件派发到java侧和Framework派发事件到UI,流程看源码即可,此处不赘叙, Native侧派发事件的干活类图如下: Framework侧派发事件的类图如下: 从Activity.dispatchTouchEvent开始,Action_Down事件派发的时序如下: 分析Android 5.0源码可知,ViewGroup的事件派发是一个后序遍历树的递归过程,在Action_Down事件的处理中做了两个事情: 1.递归查找touchTarget,并标记在ViewGroup的m

SpringBoot自动装配流程源码分析

SpringBoot 传统方式的SSM框架因为需要配置大量文件而被开发人员诟病重复性工作,所以SpringBoot的出现在减少开发人员做大量重复性配置的工作,使得开发人员能够快速的开始项目开发.更加专注于业务代码的编写.但SpringBoot跟SSM有什么框架不同呢?为什么SpringBoot可以自动装配呢?SpringBoot自动装配是如何实现的呢? SpringBoot入口 写过SpringBoot应用的开发者都知道,SpringBoot应用的启动类是被@SpringBootApplicat

小记--------spark-job触发流程源码分析

job是串行执行的, 执行完上一个才执行下一个 eg:Wordcount案例 val lines = sc.textFile("本地URL or HDFS URL")//详解见代码1 val words = lines.flatMap(line => line.split(" "))//也会返回一个MapPartitionsRDD val pairs = words.map(word => (word , 1))//同样也是返回一个MapPartitio

MySQL连接查询流程源码分析

初始化 main |-mysqld |-my_init // 初始话线程变量,互斥量 |-load_defaults // 获取配置 |-init_common_variables // 初始化变量 |-init_server_components // 初始化插件 | |-plugin_init | | |-plugin_initialize | |-initialize_storage_engine |-network_init // 监听网络 |-grant_init |-servers_