1. Detecting Languages During Indexing

　　在索引的时候,solr可以使用langid UpdateRequestProcessor来识别语言,然后映射文本到特定语言的字段.solr支持这个功能的两个实现:

1. Tika的语言解析功能:http://tika.apache.org/0.10/detection.html
2. LangDetect语言解析:http://code.google.com/p/language-detection/

　　可以从 http://blog.mikemccandless.com/2011/10/accuracy-and-performance-of-googles.html中看到它们之间的对比.一般情况下,LangDetect支持更多的语言,具有更高的性能.

　　参考http://wiki.apache.org/solr/LanguageDetection获取更多的关于langid UpdateRequestProcessor信息.

1.1 Configuring Language Detection

　　可以在solrconfig.xml中配置langid UpdateRequestProcessor.两个实现具有相同的参数,最少,你需要指定语言识别的字段和字段的结果语言编码.

1.2 Configuring Tika Language Detection

　　这里是solrconfig.xml 中 Tika langid UpdateRequestProcessor的最小的配置.

<processor
    class="org.apache.solr.update.processor.TikaLanguageIdentifierUpdateProcessorFactory">
    <lst name="defaults">
        <str name="langid.fl">title,subject,text,keywords</str>
        <str name="langid.langField">language_s</str>
    </lst>
</processor>

1.3 Configuring LangDetect Language Detection

　　这里是solrconfig.xml中最小的LangDetect langid配置.

<processor
    class="org.apache.solr.update.processor.LangDetectLanguageIdentifierUpdateProcessorFac
tory">
    <lst name="defaults">
        <str name="langid.fl">title,subject,text,keywords</str>
        <str name="langid.langField">language_s</str>
    </lst>
</processor>

1.4 langid Parameters

　　正如上面所提到的,两个langid  UpdateRequestProcessor的实现具有相同的参数: