Solr创建索引问题

问题描述：

8月 19, 上午10点27:58.219 WARN com.ngdata.hbaseindexer.supervisor.IndexerSupervisor 
No indexer process to unregister for indexer eventlogIndexer
8月 19, 上午10点27:58.397 ERROR com.ngdata.hbaseindexer.indexer.ResultToSolrMapperFactory 
Error instantiating ResultToSolrMapper for eventlogIndexer
org.kitesdk.morphline.api.MorphlineCompilationException: Cannot parse morphline file: /home/bigdata/solr/eventlog-collection/morphlines.conf
	at org.kitesdk.morphline.base.Compiler.compile(Compiler.java:52)
	at com.ngdata.hbaseindexer.morphline.LocalMorphlineResultToSolrMapper.configure(LocalMorphlineResultToSolrMapper.java:136)
	at com.ngdata.hbaseindexer.morphline.MorphlineResultToSolrMapper$1.initialValue(MorphlineResultToSolrMapper.java:92)
	at com.ngdata.hbaseindexer.morphline.MorphlineResultToSolrMapper$1.initialValue(MorphlineResultToSolrMapper.java:84)
	at java.lang.ThreadLocal.setInitialValue(ThreadLocal.java:180)
	at java.lang.ThreadLocal.get(ThreadLocal.java:170)
	at com.ngdata.hbaseindexer.morphline.MorphlineResultToSolrMapper.configure(MorphlineResultToSolrMapper.java:125)
	at com.ngdata.hbaseindexer.ConfigureUtil.configure(ConfigureUtil.java:29)
	at com.ngdata.hbaseindexer.indexer.ResultToSolrMapperFactory.createResultToSolrMapper(ResultToSolrMapperFactory.java:52)
	at com.ngdata.hbaseindexer.conf.DefaultIndexerComponentFactory.createMapper(DefaultIndexerComponentFactory.java:70)
	at com.ngdata.hbaseindexer.supervisor.IndexerSupervisor.startIndexer(IndexerSupervisor.java:200)
	at com.ngdata.hbaseindexer.supervisor.IndexerSupervisor.access$1000(IndexerSupervisor.java:78)
	at com.ngdata.hbaseindexer.supervisor.IndexerSupervisor$EventWorker.run(IndexerSupervisor.java:407)
	at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.FileNotFoundException: File not found: /home/bigdata/solr/eventlog-collection/morphlines.conf
	at org.kitesdk.morphline.base.Compiler.parse(Compiler.java:65)
	at org.kitesdk.morphline.base.Compiler.compile(Compiler.java:50)
	... 13 more

解决方法：

配置文件所在目录权限问题，把配置文件所在目录权限改变，或者把配置文件放在其他有权限的目录。

时间： 2024-08-29 17:23:50

Solr创建索引问题的相关文章

SOLR增量索引--删除业务、定时增量索引

Ok,我又来写SOLR的内容了,昨天做了修改和增加的增量索引,今天来说说关于删除的增量索引以及定时更新增量索引,废话不多说,下面进入正文. 一.增量索引之删除 昨天已经说过,增量索引其实就是SOLR对上次做过(增量或者全量)索引之后到这次做索引之间的这段时间数据库发生变化的数据进行创建索引,昨天我们说了增加一条数据或者修改一条数据之后创建增量索引,现在来说删除数据的增量索引. 其实这里所说的删除是假删除,什么意思呢?就是并不是说在数据库中把某些数据给彻底删除掉,而是说给你不想创建索引的数据一个标

Solr笔记四之Solrj创建索引和搜索的一般步骤

在solrj中创建索引的一般步骤:      1)创建一个SolrServer对象,SolrServer用于管理索引      2)创建SolrInputDocument对象,即文档对象,并且向文档对象添加字段      3)利用SolrServer对象的add方法添加SolrInputDocument对象,创建索引       4)调用SolrServer对象的commit()方法提交索引.       例如:            HttpSolrServer hss=new HttpSol

Solr DIH以Mysql为数据源批量创建索引

演示使用solr管理后台,以mysql为数据源,批量建索引的方法 测试于:Solr 4.5.1, mmseg4j 1.9.1, Jdk 1.6.0_45, Tomcat 6.0.37 | CentOS 5.7 配置数据源 [[email protected] ~]# cd /root/solr-4.5.1/example/example-DIH/solr/db/conf[[email protected] conf]# touch mysql-data-config.xml 编辑mysql-da

Elasticsearch搜索API使用一：创建索引并指定索引类型的mapping

ES默认是动态创建索引和索引类型的mapping的.这就相当于无需定义Solr中的Schema,无需指定各个字段的索引规则就可以索引文件,很方便.但有时方便就代表着不灵活.比如,ES默认一个字段是要做分词的,但我们有时要搜索匹配整个字段却不行.如有统计工作要记录每个城市出现的次数.对于NAME字段,若记录"new york"文本,ES可能会把它拆分成"new"和"york"这两个词,分别计算这个两个单词的次数,而不是我们期望的"new

solr-DIH:dataimport增量全量创建索引

索引创建完毕,就要考虑怎么定时的去重建, 除了写solrj,可以定时调用下面两条url进行增量或者全量创建索引   全量:http://ip:port/webapp_name/core_name/dataimport?command=full-import   增量:http://ip:port/webapp_name/core_name/dataimport?command=delta-import   全量索引直接调用就可以,因为是完全删除重建   如果是增量索引,就稍微麻烦一些,首先你必须

solr的索引库core相关配置解析

1.core的概念 2.目录结构 conf目录中有两个非常重要的配置文件:schema.xml和solrconfig.xml 3.配置详解 core.properties schemal.xml solrconfig.xml 3.1 core.properties Core的属性文件,记录当前core的名称.索引位置.配置文件名称等信息,也可以不写.主要用于修改名字 3.2 schema.xml Solr中会提前对文档中的字段进行定义,并且在schema.xml中对这些字段的属性进行约束,例如:

一步一步跟我学习lucene（6）---lucene索引优化之多线程创建索引

这两天工作有点忙,博客更新不及时,请大家见谅: 前面了解到lucene在索引创建的时候一个IndexWriter获取到一个读写锁,这样势在lucene创建大数据量的索引的时候,执行效率低下的问题: 查看前面文档一步一步跟我学习lucene(5)---lucene的索引构建原理可以看出,lucene索引的建立,跟以下几点关联很大: 磁盘空间大小,这个直接影响索引的建立,甚至会造成索引写入提示完成,但是没有同步的问题: 索引合并策略的选择,这个类似于sql里边的批量操作,批量操作的数量过多直接影响执

创建索引之代码开发

[创建索引库] 使用indexwriter对象创建索引. [实现步骤] (1)创建一个java工程,并导入jar包. (2)创建一个indexwriter对象. 1)指定索引库的存放位置Directory对象. 2)指定一个分析器,对文档内容进行分析. (3)创建Document对象 (4)创建filed对象,将field添加到Document对象中. (5)使用indexwriter对象将Document对象写入到索引库,此过程进行索引创建,并将索引和Document对象写入索引库. (6)关

Elasticsearch创建索引和映射结构详解

前言 这篇文章详细介绍了如何创建索引和某个类型的映射. 下文中[address]指代elasticsearch服务器访问地址(http://localhost:9200). 1       创建索引 1.1     简单创建语句 curl -XPUT [address]/blog 1.2     带参数的创建语句 curl -XPUT [address]/blog/ -d '{ "settings":{ "number_of_shards":1,     //设置分