Solr5.0配置中文分词包

Solr中默认的中文分词是用Lucene的一元分词包。 现在说明在Solr5.0中配置Lucene的SmartCN中文分词包。

1,进入Solr的安装目录,我这里是:/root/nutch/solr-5.0.0 
把contrib/analysis-extras/lucene-libs/lucene-analyzers-smartcn-5.0.0.jar包复制到solr的启动目录的lib目录下。

  1. # cp ./contrib/analysis-extras/lucene-libs/lucene-analyzers-smartcn-5.0.0.jar ./server/solr-webapp/webapp/WEB-INF/lib/

2,修改managed-schema配置文件。此文件在/root/nutch/solr-5.0.0/server/solr/mycore1/conf目录下,其中mycore1是建立的core名称。 
在/root/nutch/solr-5.0.0/server/solr/mycore1/conf/managed-schema配置文件中添加如下信息:#vi managed-schema

在schema.xml 文件的接近末尾的地方增加我们的字段类型的

  1. <fieldType name="text_smart" class="solr.TextField" positionIncrementGap="100">
  2. <analyzer type="index">
  3. <!-- 此处需要配置主要的分词类 -->
  4. <tokenizer class="solr.SmartChineseSentenceTokenizerFactory"/>
  5. <!--
  6. <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
  7. <filter class="solr.LowerCaseFilterFactory"/>
  8. -->
  9. <!-- in this example, we will only use synonyms at query time
  10. <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
  11. -->
  12. <filter class="solr.SmartChineseWordTokenFilterFactory"/>
  13. </analyzer>
  14. <analyzer type="query">
  15. <!-- 此处配置同上 -->
  16. <tokenizer class="solr.SmartChineseSentenceTokenizerFactory"/>
  17. <!--
  18. <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
  19. <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
  20. <filter class="solr.LowerCaseFilterFactory"/>
  21. -->
  22. <filter class="solr.SmartChineseWordTokenFilterFactory"/>
  23. </analyzer>
  24. </fieldType>

字段需要使用text_smartcn的 就是用下面的语句,比如我的是content字段

<field name="content" type="text_smartcn" indexed="true" stored="true"/>

3,重启solr服务

  1. # ./bin/solr restart
  2. Sending stop command to Solr running on port 8983 ... waiting 5 seconds to allow Jetty process 50325 to stop gracefully.
  3. Waiting to see Solr listening on port 8983 []
  4. Started Solr server on port 8983 (pid=50745). Happy searching!

4,验证 
用SmartCN的分词。 

Solr默认的分词。 

时间: 2025-01-05 22:06:13

Solr5.0配置中文分词包的相关文章

我与solr(六)--solr6.0配置中文分词器IK Analyzer

转自:http://blog.csdn.net/linzhiqiang0316/article/details/51554217,表示感谢. 由于前面没有设置分词器,以至于查询的结果出入比较大,并且无法进行正确的高亮显示.现在配置一下分词器来解决相关问题. solr6.0中进行中文分词器IK Analyzer的配置和solr低版本中最大不同点在于IK Analyzer中jar包的引用.一般的IK分词jar包都是不能用的,因为IK分词中传统的jar不支持solr6.0这个高版本的,所以就会发送运行

【solr】solr5.0整合中文分词器

1.solr自带的分词器远远满足不了中文分词的需求,经查使用最多的分词器是solr是mmseg4j分词器,具体整合大家可以参考 https://github.com/zhuomingliang/mmseg4j 一定要注意版本 2.将这两个包直接拷贝到tomcat下的solr/lib中 3.在solr/java里新建dic目录将词库拷贝进去 4.直接在浏览器http://127.0.0.1:8080/solr即可如下分词结果 ok,分词整合完毕!

solr 7.7.0配置中文分词器的数据类型

1 <dynamicField name="*_is" type="pints" indexed="true" stored="true"/> 2 <dynamicField name="*_s" type="string" indexed="true" stored="true" /> 3 <dynamicField

solr8.2 环境搭建 配置中文分词器 ik-analyzer-solr8 详细步骤

一.下载安装Apache Solr 8.2.0 下载地址:http://lucene.apache.org/solr/downloads.html 因为是部署部署在windows系统上,所以下载zip压缩包即可. 下载完成后解压出来. 二.启动solr服务 进入solr-7.3.0/bin目录: Shift+右键 在此处打开命令窗口: 在控制台输入以下命令: solr start -p 9090 看到Started Solr server on port 9090. Happy searchin

R语言中文分词包jiebaR

前言 本文挖掘是数据挖掘中一个非常重要的部分,有非常广阔的使用场景,比如我们可以对新闻事件进行分析,了解国家大事:也可以对微博信息进行分析,通过社交舆情看看大家的关注点.通过文本挖掘找到文章中的隐藏信息,对文章的结构进行分析,判断是不是同一个作者写文章:同时可以对邮件分析,结合bayes算法判断哪些是垃圾邮件,哪些是有用的邮件. 本文挖掘的第一步,就是要进行分词,分词将直接影响文本挖掘的效果.R语言在分词方面有很好的支持,接下来就给大家介绍一个不错的R语言中文分词包"结巴分词"(jie

在Solr中配置中文分词IKAnalyzer

李克华 云计算高级群: 292870151 交流:Hadoop.NoSQL.分布式.lucene.solr.nutch 在Solr中配置中文分词IKAnalyzer 1.在配置文件schema.xml(位置{SOLR_HOME}/config/下),配置信息如下: <!-- IKAnalyzer 中文分词-->     <fieldType name="text_ik" class="solr.TextField">         <

lucene3.0+版本中文分词测试+搜索结果+创建索引测试

lucene3.0+版本中文分词测试+搜索结果+创建索引测试 import java.io.File; import java.io.IOException; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.tokenattributes.

配置solr4.10.0和中文分词IKAnalyzer

全文索引服务solr搭建.公司最近要用到.我又是个java小白.做环境的什么的不再行.就此几下操作. 大部分是看官方提供的reference.pdf来做的,也google了不少.公司还有个大哥指点....笨的可以. 环境如下 OS: centos6.5 java环境: jdk1.7.0_51 tomcat版本: apache-tomcat-7.0.55 solr版本: solr-4.10.0 中文分词插件: IKAnalyzer2012FF_u1 另需准备mysql-connector-java

Solr配置中文分词器IKAnalyzer及增删改查调用

一.配置IKAnalyzer中文分词器 Solr 版本5.2.1 IKAnalyzer2012_u6.jar报错 ,用IKAnalyzer2012_FF_hf1.jar 替换可解决 解决lucene4.0与IKAnalyzer的冲突.解决Exception in thread "main" java.lang.VerifyError: class org.wltea.analyzer.lucene.IKAnalyzer overrides final method tokenStrea