Hadoop,HBase集群环境搭建的问题集锦(二)

10.艾玛, Datanode也启动不了了?

找到log:

Caused by: java.net.UnknownHostException: Invalid host name: local host is: (unknown); destination host is: “maste1”:8031; java.net.

UnknownHostException; For more details see: http://wiki.apache.org/hadoop/UnknownHost

解决办法:

找到hadoop配置文件yarn-site.xml改正配置信息如下.

依然启动不了?

解决办法:

清空master1, master2 上的name里的数据,删除current目录,rm -rf current

清空slave1,slave2上的data01里的数据,删除current目录,rm -rf current

在主master1上name格式化, hdfs namenode -format

启动hdfs: ./start-all.sh

奏效!!赞!!!

11.命令#netstat -atln是做什么的?

答: 查看网络端口信息的.

-a (all)显示所有选项,默认不显示LISTEN相关

-t (tcp)仅显示tcp相关选项

-n 拒绝显示别名,能显示数字的全部转化成数字。

-l 仅列出有在 Listen (监听) 的服務状态

参考链接http://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316661.html

12.Tomcat配置web账号密码:

答:配置web管理帐号

修改文件conf/tomcat-users.xml,在tomcat-users元素中添加帐号密码,需要指定角色.

# vi /usr/local/tomcat/server/conf/tomcat-users.xml

 <tomcat-users>
       <user name="admin" password="admin" roles="admin-gui,manager-gui" />
     </tomcat-users>

参考资料:http://blog.csdn.net/gyming/article/details/36060843

Solr安装参考资料:

http://www.linuxidc.com/Linux/2014-05/101443.htm

http://www.656463.com/article/IbiInu.htm

13. 查看 solr的logging会出现:

19:44:42 WARN SolrResourceLoader Can’t find (or read) directory to add to classloader: ../../../contrib/extraction/lib (resolved as: /home/solr_home/collection1/../../../contrib/extraction/lib).

这样的警告;其实这是因为找不到 对应的jar包造成的。

在/home/solr_home/collection1/conf/solrconfig.xml 中原有的配置文件为:

  <lib dir="../../../contrib/extraction/lib" regex=".*\.jar" />
  <lib dir="../../../dist/" regex="solr-cell-\d.*\.jar" />
  <lib dir="../../../contrib/clustering/lib/" regex=".*\.jar" />
  <lib dir="../../../dist/" regex="solr-clustering-\d.*\.jar" />
  <lib dir="../../../contrib/langid/lib/" regex=".*\.jar" />
  <lib dir="../../../dist/" regex="solr-langid-\d.*\.jar" />
  <lib dir="../../../contrib/velocity/lib" regex=".*\.jar" />
  <lib dir="../../../dist/" regex="solr-velocity-\d.*\.jar" />
  <!-- If a ‘dir‘ option (with or without a regex) is used and nothing
       is found that matches, a warning will be logged.
    -->
  <lib dir="/non/existent/dir/yields/warning" />

这个是警告信息

解决办法: 可以将 solr-4.3.1\目录下的 contrib 和 dist 拷贝到 /home/solr_home/collection1/conf 下面就可以了

然后修改上面的配置文件/home/solr_home/collection1/conf/solrconfig.xml即可。

<lib dir="conf/contrib/extraction/lib" regex=".*\.jar" />
  <lib dir="conf/dist/" regex="solr-cell-\d.*\.jar" />
  <lib dir="conf/contrib/clustering/lib/" regex=".*\.jar" />
  <lib dir="conf/dist/" regex="solr-clustering-\d.*\.jar" />
  <lib dir="conf/contrib/langid/lib/" regex=".*\.jar" />
  <lib dir="conf/dist/" regex="solr-langid-\d.*\.jar" />
  <lib dir="conf/contrib/velocity/lib" regex=".*\.jar" />
  <lib dir="conf/dist/" regex="solr-velocity-\d.*\.jar" />
  <!-- If a ‘dir‘ option (with or without a regex) is used and nothing
       is found that matches, a warning will be logged.
    -->
  <lib dir="/non/existent/dir/yields/warning" /> 

14.Solr中如何新建core?

参考资料:http://blog.csdn.net/clj198606061111/article/details/21288499/

15 solr完美安装参考链接?

http://www.656463.com/article/IbiInu.htm

http://my.oschina.net/liuxundemo/blog/208236

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-12-29 09:54:06

Hadoop,HBase集群环境搭建的问题集锦(二)的相关文章

Hadoop,HBase集群环境搭建的问题集锦(一)

让虚拟机获取到网络的IP地址? 答: 右键虚拟机 Network Adapter->Network Connection 设置为 Bridged:Connected directly to the physical network 配置ssh免登陆时候, 拷贝了 解决办法: 使用命令: 加-i 选项 ssh-copy-id -i id_rsa.pub master2 使用选项 -i ,当没有值传递的时候或者 如果 ~/.ssh/identity.pub 文件不可访问(不存在), ssh-copy

Hadoop,HBase集群环境搭建的问题集锦(三)

16配置IK中文分词器. 1.下载最新的Ik中文分词器. 下载地址:http://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip 2.解压IK Analyzer 2012FF_hf1.zip,获得IK Analyzer 2012FF_hf1.将该目录下的IKAnalyzer.cfg.xml,stopword.dic放到之前安装TOMCAT_HOME/webapps/solr/WEB-INF/classes目录下(没有

Hadoop+Spark:集群环境搭建

环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso): 192.168.1.200 master 192.168.1.201 node1 192.168.1.202 node2 在Master上安装Spark环境: 具体请参考我的文章:<Hadoop:搭建hadoop集群> Spark集群环境搭建: 搭建h

Hadoop分布式集群环境搭建

分布式环境搭建之环境介绍 之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的分布式集群环境,所以本文将简单介绍一下如何在多台机器上搭建Hadoop的分布式环境. 我这里准备了三台机器,IP地址如下: 192.168.77.128 192.168.77.130 192.168.77.134 首先在这三台机器上编辑/etc/hosts配置文件,修改主机名以及配置其他机器的主机名 [[email protected] ~]# vim /etc/host

HBase集群环境搭建

本文档环境基于ubuntu14.04版本,如果最终不使用SuperMap iServer 9D ,可以不配置geomesa-hbase_2.11-2.0.1-bin.tar.gz (转发请注明出处:http://www.cnblogs.com/zhangyongli2011/ 如发现有错,请留言,谢谢) 一.准备 1.1 软件版本 hadoop-2.6.5 zookeeper-3.4.10.tar.gz hbase-1.3.1-bin.tar.gz geomesa-hbase_2.11-2.0.

基于HBase Hadoop 分布式集群环境下的MapReduce程序开发

HBase分布式集群环境搭建成功后,连续4.5天实验客户端Map/Reduce程序开发,这方面的代码网上多得是,写个测试代码非常容易,可是真正运行起来可说是历经挫折.下面就是我最终调通并让程序在集群上运行起来的一些经验教训. 一.首先说一下我的环境: 1,集群的环境配置请见这篇博文. 2,开发客户机环境:操作系统是CentOS6.5,JDK版本是1.7.0-60,开发工具是Eclipse(原始安装是从google的ADT网站下载的ADT专用开发环境,后来加装了Java企业开发的工具,启动Flas

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间. Hadoop主要包含三个模块: HDFS模块:HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单

Hadoop2.6集群环境搭建

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次. 准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. N

Hadoop2.6集群环境搭建(HDFS HA+YARN)

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次. 准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. N