cloudera search环境搭建搭建-solrcloud

转载:http://blog.csdn.net/xiao_jun_0820/article/details/40539291

本文基于Cloudera Manager5.0.0,所有服务基于CDH5.0.0 parcel安装。

CM 安装solr是非常方便的,在集群上添加服务就行了,solrcloud需要zookeeper集群的支持,所以添加solr服务之前,先添加zookeeper服务。在此不赘述。

本文从添加好solr服务之后开始说起,我有4个主机,所以添加solr服务的时候我添加了4个solr server,每台主机一个,在选择相应的zookeeper服务启动solr服务之后,这四个节点就在同一个solrcloud集群里面了。

cm装好的solr服务默认是没有collection的。我们可以利用cloudera提供的一个脚本工具来管理solrcloud,该工具为:solrctl

$ solrctl --help

usage: /usr/bin/solrctl [options] command [command-arg] [command [command-arg]] ...

Options:
    --solr solr_uri
    --zk   zk_ensemble
    --help
    --quiet

Commands:
    init        [--force]

    instancedir  [--generate path]
                [--create name path]
                [--update name path]
                [--get name path]
                [--delete name]
                [--list]

    collection  [--create name -s <numShards>
                              [-c <collection.configName>]
                              [-r <replicationFactor>]
                              [-m <maxShardsPerNode>]
                              [-n <createNodeSet>]]
                [--delete name]
                [--reload name]
                [--stat name]
                [--deletedocs name]
                [--list]

    core        [--create name [-p name=value]...]
                [--reload name]
                [--unload name]
                [--status name]

solr服务首次启动的时候,会在hdfs上创建/solr目录,还会在zookeeper上创建/solr节点,zookeeper上的/solr节点下面用来保存了solrcloud的相关配置信息。

由于现在solrcloud上是没有collection的,我们先创建一个collection,命名为collection1,在创建
collection1之前,首先要将配置信息上传到zookeeper上,我们这里就将solr自带的examples里面的那个solr目录下面的
collection1的配置上传,对应cm安装的集群,这个目录在/opt/cloudera/parcels/CDH/share/doc
/solr-doc-4.4.0+cdh5.0.0+178/example/solr目录下面,我们用:

sudo -u solr solrctl instancedir --create collection1
/opt/cloudera/parcels/CDH/share/doc/solr-doc-4.4.0+cdh5.0.0+178/example/solr/collection1

执行该命令后,会将/opt/cloudera/parcels/CDH/share/doc/solr-doc-
4.4.0+cdh5.0.0+178/example/solr/collection1下的conf目录下面的所有文件上传到zookeeper的
/solr/configs下面的collection1目录下面.

OK,配置文件上传了,下一步是创建collection,运行如下命令:

sudo -u solr solrctl collection --create collection1 -s 2

创建一个名叫collection1的collection,有2个shard,我们没写-c参数,就会使用默认与collection
name相同的配置文件目录作为-c的默认配置,也即会使用默认的上一步上传到zookeeper的collection1目录作为默认配置目录.

OK,我们可以检测一下collection是否创建成功,运行:solrctl collection --list,看看有没有collection1

在solr控制台管理页面上的cloud下面可以砍到图形化描述的collection1的拓扑结构,这里两个shard具体分配到哪两个server是由solrcloud自己管理的,我们无需关心。

我们试着给这个collection添加一个document:

cd /opt/cloudera/parcels/CDH/share/doc/solr-doc-4.4.0+cdh5.0.0+178/example/exampledocs

java -Durl=http://master68:8983/solr/collection1/update -jar post.jar ipod_video.xml

然后执行一下查询语句:http://master68:8983/solr/collection1/select?q=*:*

可以查询到刚才我们添加的索引文件,至此,一个简单的solrcloud搭建好了。

时间: 2024-07-29 15:37:31

cloudera search环境搭建搭建-solrcloud的相关文章

Dcos环境步骤搭建

Dcos环境步骤搭建 1.DCOS介绍 ·        DC/OS(DataCenter Operating System)是以Apache Mesos 为分布式系统内核的分布式数据中心操作系统 ·        DC/OS可以使企业像使用一台主机一样使用分布式数据中心的多个集群资源,进行弹性地扩容与缩容 ·        DC/OS实现资源自动化管理.进程调度.方便内部进程通讯.简化分布式服务的安装和管理 ·        DC/OS提供网页界面和 CLI ,方便对集群和其中的服务进行远程地

CentOS7 + mono +Jexus 环境的搭建

CentOS7的安装和配置 1,从http://www.centos.org/下载CentOS7的镜像,并在VMWare中创建该镜像的虚拟机,为方便操作,把虚拟机的网络连接设置为桥接模式:在安装过程中默认的是最小安装,可以选择安装类型以及是否安装图形界面等,也可以选择是否打开网络连接,为避免安装完成之后设置的繁琐,在此打开.如果没有安装图形界面和VmWare tools,在此推荐两个好用的工具:xshell.xftp,如果这两个工具都安装,可以配置好xshell之后,点击工具栏中xftp的图标可

ROR 环境的 搭建

1)安装RUBY:从 http://www.ruby-lang.org/en/ 下载 ruby182-15.exe,安装Ruby.ruby -v 看是否安装成功.2)安装RAILS框架 :gem install rails --remotesrails -v 看版本号号,看是否安装成功.3)安装 J2SDK 和Eclipse: 我安装了语言文件,用eclipse.exe -nl zh 实现中文化.环境变量: PATH:C:/j2sdk1.4.2_02/bin: 加入CLASSPATH : C:/

浅谈Linux下的LAMP开发环境的搭建及discuz、phpWind、phpBB3、wordpress各种论坛博客的安装

LAMP开发可以说非常流行了,稳定安全的Linux系统和apache服务器搭配轻量级的PHP.MYSQL可以说是完美组合.可以在效率和安全性等各个方面都比ASP.NET.JSP等动态语言优胜一筹.这也是php这么流行的原因之一.说到Linux,不得不说这是一个最好用的操作系统,因为它安全,效率高,对于任何一个细节都力求做到完美.因为它是许多GEEK们汗水的结晶.那么今天所讲就是LAMP开发中最基本的就是搭建LAMP环境.在Linux下搭建该环境非常简单,可以说非常简单,没有太多环境配置的过程.可

&lt;关于J2EE环境的搭建&gt;在Fedora21下的Tomcat,Mysql,jdk以及Intellij的搭建过程

题外话:一开始很不情愿写这种没有技术含量的博文,但是网上对于fedora21下的整个J2EE环境的搭建过程的文章实在是少之又少,那我就破个例吧:-p (一)JDK的下载及环境变量的设置 如果你对JDK的版本无欲无求,那么恭喜你你可以直接从Fedora21内置的软件库里面直接取出来里面我没有记错的话JDK 567随你选(除了JDK8)或者你可以直接使用下列命令: sudo yum seach jdk sudo yum install jdk***(名字根据上个命令搜索出来的结果输入) 但是如果是手

elastaicsearch基础-----&gt;elastaicsearch环境的搭建

这里面我们主要是在ubuntu系统上对elastaicsearch进行一个环境的搭建,记录一下这个过程中遇到的一些问题以及解决方案.我总是躲在梦与季节的深处,听花与黑夜唱尽梦魇,唱尽繁华,唱断所有记忆的来路. elastaicsearch的下载安装 我们用的测试系统是ubuntu16.0.4,首先是下载最新的elastaicsearch.地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.0.tar.

plsql的环境与介绍:环境的搭建和plsql的简单介绍

PLSQL编程 1.环境的搭建 (1)创建一个存储表空间 SQL> conn /as sysdbaConnected. SQL> create tablespace plsql datafile '/u01/oracle/oradata/ORCL/plsql01.dbf' size 1G; Tablespace created. (2)创建PLSQL用户SQL> create user plsql identified by plsql default tablespace plsql;

scikit-learn 和pandas 基于windows单机机器学习环境的搭建

很多朋友想学习机器学习,却苦于环境的搭建,这里给出windows上scikit-learn研究开发环境的搭建步骤. Step 1. Python的安装 python有2.x和3.x的版本之分,但是很多好的机器学习python库都不支持3.x,因此,推荐安装2.7版本的python.当前最新的python是2.7.12.链接如下: https://www.python.org/downloads/release/python-2712/ 里面可以看到有32位版和64位版的.如果你的机器是64位版的

开发环境——基于RHEL 6.8开发环境的搭建

开发环境--基于RHEL 6.8开发环境的搭建 本文讲述了基于RHEL 6.8操作系统搭建开发环境,主要安装了GCC 4.9.3.Qt 5.7.Apache 2.4.25.MySQL 5.6.35.本文同时适用于在Linux主机无互联网环境下搭建开发环境,只需要将所需安装包下载后拷贝到Linux主机即可. 一.RHEL6.8安装 1.RHEL 6.8下载 下载RHEL 6.8安装包:rhel-server-6.8-x86_64-dvd.iso 2.RHEL 6.8安装 安装过程中选择Develo