lucene合并测试的总结

1 查询的总时间等于每个segment查询时间的总和

2 合并的步骤

（1）做flush操作的先生成一个新的segment

（2）检查在新segment之前已经存在的segment的数量是否大于maxmerge（默认是10个），大于了进行合并

（3）合并完成又会生成一个新的segment，然后把前面10个segment删除。

每次追加46W条数据（46W一次提交） kfc数据，单field，单字分词，保存termvector，position，offset和payload信息，每次追加以后进行一次查询测试。

每次提交46W数据花费42－43S左右的时间，磁盘空间稳定上升36M，查询时间提高0.05秒，加入第12个segment的时候触发合并，合并前690MB，合并后425MB，12segment查询一次0.5S，查到3293508数据，12个segment生成到合并花费560S

总时间 42*11＋560

egg同类测试（去事务，单字分词，压缩方式）

每批数据在22S左右，12次提交以后文件总大小1.3G，花费时间为244S，查询到 3293508花费 1.335018s

总时间 22*12

时间： 2024-10-03 15:48:28

lucene合并测试的总结的相关文章

第一个lucene程序，把一个信息写入到索引库中、根据关键词把对象从索引库中提取出来、lucene读写过程分析

新建一个Java Project :LunceneTest 准备lucene的jar包,要加入的jar包至少有: 1)lucene-core-3.1.0.jar (核心包) 2) lucene-analyzers-3.1.0.jar (分词器) 3) lucene-highlighter-3.1.0.jar (高亮器) 4) lucene-memory-3.1.0.jar (高亮器) 新建实体类:Article, 属性:id,title,content; gett

(转)HubbleDotNet 和 Lucene.net 性能对比测试

HubbleDotNet 从 2009 年11月份发布第一个版本以来, 只对 0.7 版本做过一次性能对比测试,原因是近一年来,HubbleDotNet一直在做性能优化,截至2010年9月,性能已经优化的差不多了,索引和查询的性能比 0.7 版本时提高了很多倍.这两天重新对HubbleDotNet 与 Lucene.Net 做了性能对比测试.下面就公布一下我的测试数据. 测试版本 HubbleDotNet 0.9.7.0 Lucene.Net 2.9.2.1 盘古分词 2.3.1.0 测试环境

iOS代码覆盖率测试工具

基于lcov-1.11的:CodeCoverage4iOS 阅读目录环境准备 Xcode工程配置构建并安装程序收集代码覆盖率过滤结果合并多个Coverage.info?件?成覆盖率报告: 参考文献 iOS code coverage test tool. 基于lcov-1.11的iOS代码覆盖率测试工具,适用与iOS真机与模拟器. 环境准备 Mac OS X :10.8.5+ 建议10.9 Xcode :5.0+ 建议6.1 回到顶部 Xcode工程配置拷贝CodeCoverage4

Java-使用IO流对大文件进行分割和分割后的合并

有的时候我们想要操作的文件很大,比如:我们想要上传一个大文件,但是收到上传文件大小的限制,无法上传,这是我们可以将一个大的文件分割成若干个小文件进行操作,然后再把小文件还原成源文件.分割后的每个小文件的类型可以自己定义. 一下是我编写的一个大文件的分割和合并的代码: package com.lym; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.File; impor

Git合并分支出现的冲突解决

人生不如意之事十有八九,合并分支往往也不是一帆风顺的. 我们准备新的分支newbranch. [email protected]V-PC MINGW32 /c/gitskill (master)$ git checkout -b newbranchSwitched to a new branch 'newbranch' 修改readme.txt,在最后一行添加: $ cat readme.txtmaster分支内容添加dev分支内容分支合并测试在分支newbranch上提交: [email p

【web开发】☆★之利用POI操作Excel表格系列教程【11】单元格合并

[web开发]☆★之利用POI操作Excel表格系列教程[11]单元格合并 package csg.xiaoye.poidemo; import java.io.FileOutputStream; import org.apache.poi.hssf.usermodel.HSSFWorkbook; import org.apache.poi.ss.usermodel.Cell; import org.apache.poi.ss.usermodel.Row; import org.apache.p

合并pdf

合并pdf pom.xml添加Jar依赖  <dependency> <groupId>com.itextpdf</groupId> <artifactId>itextpdf</artifactId> <version>5.5.12</version>

Java利用poi生成word(包含插入图片，动态表格，行合并)

转: Java利用poi生成word(包含插入图片,动态表格,行合并) 2018年12月20日 09:06:51 wjw_11093010 阅读数:70 Java利用poi生成word(包含插入图片,动态表格,行合并) 测试模板样式: Word生成结果: 图表 2需要的jar包:(具体jar可自行去maven下载) 注意:需要严格按照上面版本下载jar包,否则可能出现jar包之间不能匹配的导致代码报错各种 jar包都可以在这里下载: https://mvnrepository.com/ Tes

win10 配置pylucene

参考文章 http://lxsay.com/archives/269 Windows 10 64 Bit 编译安装 PyLucene 6.2, 6.4 或 6.5 POSTED ON 2017-02-16 BY CHICCS update 2017.07: 添加了对 Python 3 的支持这可能是互联网上第一篇详细介绍 Windows 下安装新版本 Pylucene 的文章.PyLucene 4 以下原本都有提供 windows 下的安装包,但是新版本没有了. 网上那些说 Pylucene