建索引时优化的观察和思考

同事调整了IndexWriterConfig的maxThreadStates参数，发现性能有很大提升，原来之前一直没去注意这个东西。

addDocument时默认会调用ThreadAffinityDocumentsWriterThreadPool来获取线程锁,而这个线程池默认是8个线程，如果同时addDocument的线程多于8个，则线程处在等待锁的状态(一般是等最小竞争的>锁)，所以本质上要在indexwriterconfig中增加最大索引线程数。

Lucene中还存在一个FlushStallControl,用于平衡addDocument和flush之间的速度差,如果flushBytes + activeBytes > 2 * ramBytes，且flushBytes > 0,则addDocument线程被暂停，直到flush完成。这有一个启发，最好监控下等待时间,如果等待时间太长，是不是考虑硬盘换一下?

另外使用LogByteMergePolicy的确比LogDocMergePolicy好，原因是这样内存平稳一点，表现略好。RamBufferSize是个很微妙的参数,理论上越大,索引归并的趟数越少，有利于减少归并时间,对建索引本身速度的影响，考虑addDocument和flush的平衡这一瓶颈，如果硬盘使用ssd(即等待时间变得超短,而且很少等待)，段应该大一点好?这好像很难说清，从小索引测试结果来看，200M左右性能最好。

建索引时优化的观察和思考

时间： 2024-10-13 16:20:24

建索引时优化的观察和思考的相关文章

java web轻量级开发面试教程读书笔记：建索引时我们需要权衡的因素

场景一,数据表规模不大,就几千行,即使不建索引,查询语句的返回时间也不长,这时建索引的意义就不大.当然,若就几千行,索引所占的空间也不多,所以这种情况下,顶多属于"性价比"不高. 场景二,某个商品表里有几百万条商品信息,同时每天会在一个时间点,往其中更新大概十万条左右的商品信息,现在用where语句查询特定商品时(比如where name = 'XXX')速度很慢.为了提升查询效率可以建索引,但当每天更新数据时,又会重建索引,这是要耗费时间的. 这时就需要综合考虑,甚至可以在更新前删除

使用NOSQL的MongoDB时建立索引需要注意的几点建议和Explain优化分析

第一,MongoDB索引和MySQL索引非常相似并且对于MySQL的索引优化有很多也适用于MongoDB. 第二,更重要的是,这些索引的建立对你的应用提高也是有限的. 对于应用的最佳索引策略应该基于很多的重要因素.包含了你期望查询的类型, 数据读取与写入的比率,甚至于你服务器的空闲内存.意思就是, 需要对线上的产品做很多的测试剖析工作,才能调整出最佳的索引策略. 没有什么好的方法可以替代实际经验的. 索引策略 下面有些索引的基本法则 创建的索引要匹配查询. 如果你仅仅要查询单个字段.索引这个字段

Oracle使用并行建索引须要注意的问题

建索引时.我们为了建索引快.会加上并行,加上并行之后.此列索引就会是并行了. 訪问有并行度的索引时,CBO可能可能会考虑并行运行.这可能会引发一些问题,如在server资源紧张的时候用并行会引起更加严重的争用.当使用并行后,须要把并行度改回来. SQL> drop table test purge; SQL> create table test as select * from dba_objects; SQL> create index ind_t_object_id on test(

Oracle使用并行建索引需要注意的问题

建索引时,我们为了建索引快,会加上并行,加上并行之后,此列索引就会是并行了.访问有并行度的索引时,CBO可能可能会考虑并行执行,这可能会引发一些问题,如在服务器资源紧张的时候用并行会引起更加严重的争用.当使用并行后,需要把并行度改回来. SQL> drop table test purge; SQL> create table test as select * from dba_objects; SQL> create index ind_t_object_id on test(obje

mongodb建索引引起的问题

建索引就是一个容易引起长时间写锁的问题,MongoDB 在前台建索引时需要占用一个写锁(而且不会临时放弃),如果集合的数据量很大,建索引通常要花比较长时间,特别容易引起问题. 解决的方法很简单,MongoDB提供了两种建索引的访问,一种是 background 方式,不需要长时间占用写锁,另一种是非 background 方式, 需要长时间占用锁.使用background 方式就可以解决问题. 例如,为超大表 posts 建立索引, 千万不用使用 db.posts.ensureIndex({us

INDEX--创建索引和删除索引时的SCH_M锁

最近有一个困惑,生产服务器上有一表索引建得乱七八糟,经过整理后需要新建几个索引,再删除几个索引,建立索引时使用联机(ONLINE=ON)创建,查看下服务器负载(磁盘和CPU压力均比较低的情况)后就选择业务时间创建,但是到删除索引时却遇到问题:阻塞,删除索引需要架构修改锁(SCH_M),有阻塞很正常,虽然查询使用NOLOCK提示降低了对其他会话的影响,但还是会在页或表上生成一些意向共享锁(IS),这些意向共享锁与SCH_M无法兼容,因此阻塞无可避免,悲催的是在该表上多个会话重复执行查询且该查询执行

Django—— ORM查询(sql优化)优化了解，Django(元信息)元类建索引

Django(元信息)元类建索引 索引:索引的一个主要目的就是加快检索表中数据,索引是经过某种算法优化过的,因而查找次数要少的多.可见,索引是用来定位的. class Book(models.Model) name = models.CharField(max_length=64) class Meta: # 自定义表名 db_table = 'table_name' # 联合索引: 索引的一个主要目的就是加快检索表中数据 index_together = ('tag1', 'tag2') #

mysql性能优化-索引与优化

http://hongge.blog.51cto.com/ 一.MySQL性能优化之-影响性能的因素 1.商业需求的影响 不合理需求造成资源投入产出比过低,这里我们就用一个看上去很简单的功能来分析一下. 需求:一个论坛帖子总量的统计,附加要求:实时更新 从功能上来看非常容易实现,执行一条SELECT COUNT(*) from 表名 的Query 就可以得到结果.但是,如果我们采用不是MyISAM 存储引擎,而是使用的Innodb 的存储引擎,那么大家可以试想一下,如果存放帖子的表中已经有上千万

数据库理论之视图、事务、索引、优化查询

数据库理论之视图.事务.索引.优化查询 一.视图 灵魂三问 1.什么是视图 视图就是通过查询得到一张虚拟表,然后保存下来,下次直接使用即可 2.为什么要用视图 如果要频繁的使用一张虚拟表,可以不用重复查询 3.如何使用视图 create view 视图名 as sql语句 注意:创建出来的视图只有表结构,数据来源还是原来的表 视图通常都是用于查询,所以尽量不要修改视图中的数据 思考:开发过程中应不应该使用视图? 不应该 二.触发器 命名规则及理论 在满足对某张表数据的增删改的情况下,自动触发的功