solrconfig.xml配置详解

solrconfig.xml配置文件主要定义了SOLR的一些处理规则,包括索引数据的存放位置,更新,删除,查询的一些规则配置。

可以在tomcat的安装路径下找到这个文件C:\Program Files\Apache Software Foundation\Tomcat 8.0\solr\collection1\conf

1.datadir节点

1.<dataDir>${solr.data.dir:d:/Server/Solr/data}</dataDir>定义了索引数据和日志文件的存放位置

   2.luceneMatchVersion

<luceneMatchVersion>4.8</luceneMatchVersion>

表示solr底层使用的是lucene4.8

3. lib

<lib dir="../../../contrib/extraction/lib"regex=".*\.jar"/>

表示solr引用包的位置,当dir对应的目录不存在时候,会忽略此属性

4.directoryFactory

索引存储方案,共有以下存储方案

1、solr.StandardDirectoryFactory,这是一个基于文件系统存储目录的工厂,它会试图选择最好的实现基于你当前的操作系统和Java虚拟机版本。
           2、solr.SimpleFSDirectoryFactory,适用于小型应用程序,不支持大数据和多线程。
           3、solr.NIOFSDirectoryFactory,适用于多线程环境,但是不适用在windows平台(很慢),是因为JVM还存在bug。
           4、solr.MMapDirectoryFactory,这个是solr3.1到4.0版本在linux64位系统下默认的实现。它是通过使用虚拟内存和内核特性调用

mmap去访问存储在磁盘中的索引文件。它允许lucene或solr直接访问I/O缓存。如果不需要近实时搜索功能,使用此工厂是个不错的方案。
           5、solr.NRTCachingDirectoryFactory,此工厂设计目的是存储部分索引在内存中,从而加快了近实时搜索的速度。
           6、solr.RAMDirectoryFactory,这是一个内存存储方案,不能持久化存储,在系统重启或服务器crash时数据会丢失。且不支持索引复制

[html] view plaincopy

  1. <directoryFactory class="${solr.directoryFactory:solr.NRTCachingDirectoryFactory}" name="DirectoryFactory">
  2. <str name="solr.hdfs.home">${solr.hdfs.home:}</str>
  3. <str name="solr.hdfs.confdir">${solr.hdfs.confdir:}</str>
  4. <str name="solr.hdfs.blockcache.enabled">${solr.hdfs.blockcache.enabled:true}</str>
  5. <str name="solr.hdfs.blockcache.global">${solr.hdfs.blockcache.global:true}</str>
  6. </directoryFactory>

5. codecFactory
                   编解码工厂允许使用自定义的编解码器。例如:如果想启动per-field DocValues格式, 可以在solrconfig.xml里面设置SchemaCodecFactory:
                    docValuesFormat="Lucene42": 这是默认设置,所有数据会被加载到堆内存中。
          docValuesFormat="Disk": 这是另外一个实现,将部分数据存储在磁盘上。
          docValuesFormat="SimpleText": 文本格式,非常慢,用于学习。

<codecFactory class="solr.SchemaCodecFactory"/>
                  <schemaFactory class="ClassicIndexSchemaFactory"/>

    6.indexconfig节点

用于设置索引的低级别的属性

1、<filter class="solr.LimitTokenCountFilterFactory" maxTokenCount="10000"/>//限制token最大长度
      2、<writeLockTimeout>1000</writeLockTimeout>//IndexWriter等待解锁的最长时间(毫秒)。
      3、<maxIndexingThreads>8</maxIndexingThreads>//
      4、<useCompoundFile>false</useCompoundFile>//solr默认为false。如果为true,索引文件减少,检索性能降低,追求平衡。
      5、<ramBufferSizeMB>100</ramBufferSizeMB>//缓存
      6、<maxBufferedDocs>1000</maxBufferedDocs>//同上。两个同时定义时命中较低的那个。
      7、<mergePolicy class="org.apache.lucene.index.TieredMergePolicy">
         <int name="maxMergeAtOnce">10</int>
          <int name="segmentsPerTier">10</int>
         </mergePolicy>
          //合并策略。
      8、<mergeFactor>10</mergeFactor>//合并因子,每次合并多少个segments。
      9、<mergeScheduler class="org.apache.lucene.index.ConcurrentMergeScheduler"/>//合并调度器。
     10、<lockType>${solr.lock.type:native}</lockType>//锁工厂。
     11、<unlockOnStartup>false</unlockOnStartup>//是否启动时先解锁。
     12、<termIndexInterval>128</termIndexInterval>//Lucene loads terms into memory 间隔
     13、<reopenReaders>true</reopenReaders>//重新打开,替代先关闭-再打开。
     14、<deletionPolicy class="solr.SolrDeletionPolicy">//提交删除策略,必须实现org.apache.lucene.index.IndexDeletionPolicy
     15、<str name="maxCommitsToKeep">1</str>
     16、<str name="maxOptimizedCommitsToKeep">0</str>
     17、<str name="maxCommitAge">30MINUTES</str> OR <str name="maxCommitAge">1DAY</str><br>   

  18、   <infoStream   file="INFOSTREAM.txt">false</infoStream>//相当于把创建索引时的日志输出。

<lockType>${solr.lock.type:native}</lockType>
       设置索引库的锁方式,主要有三种:
        1.single:适用于只读的索引库,即索引库是定死的,不会再更改
        2.native:使用本地操作系统的文件锁方式,不能用于多个solr服务共用同一个索引库。Solr3.6 及后期版本使用的默认锁机制。
        3.simple:使用简单的文件锁机制

  7. updateHandler节点

定义更新处理器,

[html] view plaincopy

  1. <updateLog>
  2. <str name="dir">${solr.ulog.dir:}</str>
  3. </updateLog>

设置索引库更新日志,默认路径为solr home下面的data/tlog。随着索引库的频繁更新,tlog文件会越来越大,

所以建议提交索引时采用硬提交方式<autoCommit>,即批量提交。

[html] view plaincopy

  1. <autoCommit>
  2. <maxTime>15000</maxTime>
  3. <maxDocs>10000</maxDocs>
  4. <openSearcher>false</openSearcher>
  5. </autoCommit>

自动硬提交方式:maxTime:设置多长时间提交一次maxDocs:设置达到多少文档提交一次openSearcher:文档提交后是否开启新的searcher,

如果false,文档只是提交到index索引库,搜索结果中搜不到此次提交的文档;如果true,既提交到index索引库,也能在搜索结果中搜到此次提交的内容。

[html] view plaincopy

  1. <updateHandler class="solr.DirectUpdateHandler2">
  2. <!-- 允许事务日志  -->
  3. <updateLog>
  4. <str name="dir">${solr.ulog.dir:}</str>
  5. </updateLog>
  6. <!--
  7. 在满足一定条件时自动提交。maxDocs/maxTime/openSearcher
  8. -->
  9. <autoCommit>
  10. <maxTime>15000</maxTime>
  11. <openSearcher>false</openSearcher>
  12. </autoCommit>
  13. <!-- 软提交VS硬提交 -->
  14. <!--
  15. <autoSoftCommit>
  16. <maxTime>1000</maxTime>
  17. </autoSoftCommit>
  18. -->
  19. <!--
  20. 更新相关事件监听器
  21. postCommit - fired after every commit or optimize command
  22. postOptimize - fired after every optimize command
  23. -->
  24. <!-- The RunExecutableListener executes an external command from a
  25. hook such as postCommit or postOptimize.
  26. exe - the name of the executable to run
  27. dir - dir to use as the current working directory. (default=".")
  28. wait - the calling thread waits until the executable returns.
  29. (default="true")
  30. args - the arguments to pass to the program.  (default is none)
  31. env - environment variables to set.  (default is none)
  32. -->
  33. <!--
  34. <listener event="postCommit" class="solr.RunExecutableListener">
  35. <str name="exe">solr/bin/snapshooter</str>
  36. <str name="dir">.</str>
  37. <bool name="wait">true</bool>
  38. <arr name="args"> <str>arg1</str> <str>arg2</str> </arr>
  39. <arr name="env"> <str>MYVAR=val1</str> </arr>
  40. </listener>
  41. -->
  42. </updateHandler>

   8.Query查询节点

<maxBooleanClauses>1024</maxBooleanClauses>
             设置boolean 查询中,最大条件数。在范围搜索或者前缀搜索时,会产生大量的 boolean 条件,
             如果条件数达到这个数值时,将抛出异常,限制这个条件数,可以防止条件过多查询等待时间过长。
                             缓存方法http://www.cnblogs.com/phinecos/archive/2012/05/24/2517018.html

[html] view plaincopy

  1. <filterCache class="solr.FastLRUCache" size="512" initialSize="512" autowarmCount="0"/>
  2. <queryResultCache class="solr.LRUCache" size="512" initialSize="512" autowarmCount="0"/>
  3. <documentCache class="solr.LRUCache" size="512" initialSize="512" autowarmCount="0"/>
  4. <queryResultMaxDocsCached>200</queryResultMaxDocsCached>
  5. <maxWarmingSearchers>2</maxWarmingSearchers>

    9.Request Dispatcher

请求转发器

[html] view plaincopy

  1. <!-- Request Dispatcher
  2. 主要是介绍当有请求访问SolrCore时SolrDispatchFilter如何处理。
  3. handleSelect是一个以前版本中遗留下来的属性,会影响请求的对应行为(比如/select?qt=XXX)。
  4. 当handleSelect="true"时导致SolrDispatchFilter将请求转发给qt指定的处理器(前提是/select已经注册)。
  5. 当handleSelect="false"时会直接访问/select,若/select未注册则为404。
  6. -->
  7. <requestDispatcher handleSelect="false" >
  8. <!-- Request Parsing:请求解析
  9. 这些设置说明Solr Requests如何被解析,以及对ContentStreams有什么限制。
  10. enableRemoteStreaming - 是否允许使用stream.file和stream.url参数来指定远程streams。
  11. multipartUploadLimitInKB - 指定多文件上传时Solr允许的最大的size。
  12. formdataUploadLimitInKB - 表单通过POST请求发送的最大size
  13. -->
  14. <requestParsers enableRemoteStreaming="true"
  15. multipartUploadLimitInKB="2048000"
  16. formdataUploadLimitInKB="2048"/>
  17. <!-- HTTP Caching
  18. 设置HTTP缓存的相关参数。
  19. -->
  20. <httpCaching never304="true" />
  21. <!--
  22. <httpCaching never304="true" >
  23. <cacheControl>max-age=30, public</cacheControl>
  24. </httpCaching>
  25. -->
  26. <!--
  27. <httpCaching lastModifiedFrom="openTime"
  28. etagSeed="Solr">
  29. <cacheControl>max-age=30, public</cacheControl>
  30. </httpCaching>
  31. -->
  32. </requestDispatcher>

 10.requestHandler

请求处理器

[html] view plaincopy

  1. <!-- Request Handlers
  2. 输入的请求会通过请求中的路径被转发到特定的处理器。
  3. -->
  4. <!-- SearchHandler
  5. 基本的请求处理器是SearchHandler,它提供一系列SearchComponents。
  6. 通过multiple shards支持分布式。
  7. -->
  8. <requestHandler name="/select" class="solr.SearchHandler">
  9. <!-- 可以指定默认值。-->
  10. <lst name="defaults">
  11. <str name="echoParams">explicit</str>
  12. <int name="rows">10</int>
  13. <str name="df">text</str>
  14. </lst>
  15. <!-- 添加属性 -->
  16. <!--
  17. <lst name="appends">
  18. <str name="fq">inStock:true</str>
  19. </lst>
  20. -->
  21. <!-- 用法同上,尽量不要使用。-->
  22. <!--
  23. <lst name="invariants">
  24. <str name="facet.field">cat</str>
  25. <str name="facet.field">manu_exact</str>
  26. <str name="facet.query">price:[* TO 500]</str>
  27. <str name="facet.query">price:[500 TO *]</str>
  28. </lst>
  29. -->
  30. <!-- 下面的配置可以重置SearchComponents-->
  31. <!--
  32. <arr name="components">
  33. <str>nameOfCustomComponent1</str>
  34. <str>nameOfCustomComponent2</str>
  35. </arr>
  36. -->
  37. </requestHandler>

如果想更深入了解,可以参考下这几篇文章,

http://wiki.apache.org/solr/SolrConfigXml/

http://www.yunvn.com/thread-15932-1-1.html

http://www.luoshengsha.com/197.html

时间: 2024-11-08 03:00:52

solrconfig.xml配置详解的相关文章

指尖上的电商---(6)solrconfig.xml配置详解

solrconfig.xml配置文件主要定义了SOLR的一些处理规则,包括索引数据的存放位置,更新,删除,查询的一些规则配置. 可以在tomcat的安装路径下找到这个文件C:\Program Files\Apache Software Foundation\Tomcat 8.0\solr\collection1\conf 1.datadir节点 1.<dataDir>${solr.data.dir:d:/Server/Solr/data}</dataDir>定义了索引数据和日志文件

学习笔记——Maven settings.xml 配置详解

文件存放位置 全局配置: ${M2_HOME}/conf/settings.xml 用户配置: ${user.home}/.m2/settings.xml note:用户配置优先于全局配置.${user.home} 和和所有其他系统属性只能在3.0+版本上使用.请注意windows和Linux使用变量的区别. settings.xml详解 声明规范 <?xml version="1.0" encoding="UTF-8"?> <settings x

dwr.xml配置详解

感觉dwr很实用,所以想多了解一下.dwr的核心就是这个dwr.xml.在网上收集整理了一些dwr.xml的配置信息.现拿出来与大家分享. dwr.xml的大体结构如下: <!DOCTYPE dwr PUBLIC "-//GetAhead Limited//DTD Direct Web Remoting 2.0//EN" "http://www.getahead.ltd.uk/dwr/dwr20.dtd"> //整个配置文件的大体结构如下: <dw

Web.xml配置详解(转)

Web.xml配置详解 Posted on 2010-09-02 14:09 chinaifne 阅读(295105) 评论(16) 编辑 收藏 1 定义头和根元素 部署描述符文件就像所有XML文件一样,必须以一个XML头开始.这个头声明可以使用的XML版本并给出文件的字符编码.DOCYTPE声明必须立即出现在此头之后.这个声明告诉服务器适用的servlet规范的版本(如2.2或2.3)并指定管理此文件其余部分内容的语法的DTD(Document Type Definition,文档类型定义).

学习笔记——Maven pom.xml配置详解

POM的全称是“ProjectObjectModel(项目对象模型)”. pom.xml详解 声明规范 <projectxmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apach

002--struts.xml配置详解

struts.xml配置详解 1.<include> 利用include标签,可以将一个struts.xml配置文件分割成多个配置文件,然后在struts.xml中使用<include>标签引入其他配置文件. 比如一个网上购物程序,可以把用户配置.商品配置.订单配置分别放在3个配置文件user.xml.goods.xml和order.xml中,然后在struts.xml中将这3个配置文件引入: struts.xml: <?xml version="1.0"

web.xml配置详解(2)

1 定义头和根元素 部署描述符文件就像所有XML文件一样,必须以一个XML头开始.这个头声明可以使用的XML版本并给出文件的字符编码.DOCYTPE声明必须立即出现在此头之后.这个声明告诉服务器适用的servlet规范的版本(如2.2或2.3)并指定管理此文件其余部分内容的语法的DTD(Document Type Definition,文档类型定义).所有部署描述符文件的顶层(根)元素为web-app.请注意,XML元素不像HTML,他们是大小写敏感的.因此,web-App和WEB-APP都是不

电商论道---(4)schema.xml配置详解

这一节我们看下schema.xml文件中各个节点的配置极其作用.电商论道---(4)schema.xml配置详解

Struts1.2 struts-config.xml配置详解

Struts1.2 struts-config.xml配置详解 [Struts1.2总结系列]struts-config.xml配置 struts-config.xml是Struts的主要配置文件,在该文件中,可以配置数据源.form-bean.action和plug-in(插件)和资源文件的信息.其文件主要结构如下所示: <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE struts-config