【Hadoop】6、Hadoop安装之报错处理

错误报错

1、时间不能同步

2014.12.18

做同步时间的时候,执行命令操作:

[[email protected] ~]# /usr/sbin/ntpdate pool.ntp.org

会报错:

Name server cannot be used, exiting18 Dec 19:39:39 ntpdate[3592]: name server cannot be used, reason: Temporary failure in name resolution

1、首先确认ntpd 服务是开启的。

[[email protected]ail-153 ~]# /etc/init.d/ntpd start

正在启动 ntpd: [确定]

2、检查你的DNS是否添加,如果没有添加,就把你所使用的添加上去。

编辑文件:

[[email protected] ~]# vi /etc/resolv.conf

Generated by NetworkManager

nameserver 202.99.144.12

nameserver 202.99.143.11

或者添加通用DNS: nameserver 8.8.8.8

测试:

[[email protected] ~]# ntpdate pool.ntp.org

18 Dec 13:40:32 ntpdate[23722]: the NTP socket is in use, exiting

[[email protected] ~]# date -R

Thu, 18 Dec 2014 13:40:36 +0800

http://blog.itpub.net/27099995/viewspace-1372167/

2、当cloudera-manager-installer.bin安装不完全

也就是没联网的时候安装的时候错误的时候,我们后面直接吧相应的usr/share/cmf文件夹全部删除就好饿了

3、一个问题就是yum源无法安装cloud-manager

yum源更新后需要导入 key值,否则报错如下,无法安装相关的包。

Total size: 42 M

Downloading Packages:

warning: rpmts_HdrFromFdno: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY

Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

GPG key retrieval failed: [Errno 14] Could not open/read file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

解决办法:

1. 先安装如下工具包:

rpm -Uhv http://dag.wieers.com/packages/rpmforge-release/rpmforge-release-0.3.4-1.el4.rf.i386.rpm

[[email protected] yum.repos.d]# rpm –import /etc/pki/rpm-gpg/RPM-GPG-KEY-6

一般来说安装完成后即可,安装完这个就可以了。

如果还是不行,查看系统的

编辑yum源文件:替换 RPM-GPG-KEY-CentOS-5 替换为对应的 key 文件名:RPM-GPG-KEY-CentOS-6 (要全部替换)

[email protected] yum.repos.d]# vi CentOS-Base-sohu.repo

[base]

name=CentOS-$releasever - Base - sohu.com

mirrorlist=http://mirrorlist.centos.org/?release=releasever&arch=basearch&repo=os

baseurl=http://mirrors.sohu.com/centos/releasever/os/basearch/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

4、error: rpmts_HdrFromFdno: headerRead failed: hdr blob(982592): BAD, read returned 32296

这里爆了一堆错的主要原因是rpm包坏了,我从新下载就都好了

5、cdh安装失败,无法进行身份认证

可能我们前面配置的是对ROOT用户进行免秘钥,我们要对所有的用户进行免秘钥!!!!

6、安装报错无法打开”/var/log/cloudera-scm-agent//cloudera-scm-agent.log” 读取数据: 没有那个文件或目录

这个错误是因为在/etc/hosts 里IP/hostname 的对应不正确,修好之后再点选Retry 。这个错误是因为在/etc/hosts里IP/hostname的对应不正确,修好之后再点选Retry 。 Cloudera Manager 会先把之前的所有操作rollback,回复到初始状态之后才重装。 Cloudera Manager 会先把之前的所有操作rollback,回复到初始状态之后才重装。

7、安装失败。 无法接收 Agent 发出的检测信号。

请确保主机的名称已正确配置。
请确保端口 7182 可在 Cloudera Manager Server 上访问(检查防火墙规则)。
请确保正在添加的主机上的端口 9000 和 9001 空闲。
检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志(某些日志可在安装详细信息中找到)。

could not find config file /var/run/cloudera-scm-agent/supervisor/supervisord.conf

这个错误的解决是:

修改了我们/etc/hosts文件之后,我们得重启一下服务cloudera-scm-agent

service cloudera-scm-agent restart

8、安装CM之后无法显示

9、7180界面打不开

用impala做实验遇到了cloudera-scm-server dead but pid file exists问题。

问题发生的经过是这样的:

首先我在单机配置的为2核4GB内存的5台虚拟机上安装了cloudera manager,然后用它安装了cdh和impala

然后一切都是正常的,我就往集群的hdfs里面导入了100GB的数据

然后一切仍然是正常的,可是突然有一天,cloudera manager的web界面无法访问了(7180端口的那个),hadoop还可以用,impala挂掉了

之前用大内存的虚拟机装上百节点的impala都是没问题的呀,估计是内存不足导致的(想起来之前装过一次单机2GB内存的集群,装完不久 cloudera manager就也打不开了,当时由于用不到这个集群也就每台多想),查看了一下主节点上(也就是运行cloudera manager、即cloudera-scm-server的那个节点),果然啥也没干内存就只剩下400MB了。

看来安装impala,单机内存配置至少应该是8GB。

不过还是尝试解决了这个问题:

首先交代下实验环境:

硬件配置上面已经说了,操作系统是CentOS6.4 64位,软件cdh4.5.0.30+impala1.2.1.850

操作步骤如下:

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-13 05:49:21

【Hadoop】6、Hadoop安装之报错处理的相关文章

hadoop 启动的时候datanode报错 Problem connecting to server

刚配置好的hadoop,namenode可以正常开启,但是datanode却不停的报错,并且不能正常启动: 2014-05-04 10:43:33,970 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:hadoop1/192.168.10.22:9000 2014-05-04 10:43:55,009 INFOorg.apache.hadoop.ipc.Client: Retry

Ceph安装QEMU报错:User requested feature rados block device configure was not able to find it

CentOS6.3中,要想使用Ceph的block device,需要安装更高版本的QEMU. 安装好ceph后,安装qemu-1.5.2 # tar -xjvf qemu-1.5.2.tar.bz2 # cd qemu-1.5.2 # ./configure --enable-rbd 一定要加上--enable-rbd选项,这样qemu才能支持rbd协议. 这一步可能会报错: ERROR: User requested feature rados block device configure

Python virtualenv安装库报错SSL: CERTIFICATE_VERIFY_FAILED

Python virtualenv安装库报错SSL: CERTIFICATE_VERIFY_FAILED 问题描写叙述 使用pip依照virtualenv报错,例如以下: pip install virtualenv Collecting virtualenv /opt/python27/lib/python2.7/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:315: SNIMissingWarning: An

CentOS安装过程报错

Unable to read group information from repositories.  This is a problem with the generation of your install tree 网上搜到说是bug http://bbs.linuxtone.org/thread-16947-1-1.html 个人解决办法:把boot大小由200改为1024安装不报错

安装MySQL-python报错error: command 'gcc' failed with exit status 1

[[email protected] MySQL-python-1.2.3]# python setup.py install function) .... _mysql.c:133: error: 'ER_SYNTAX_ERROR' undeclared (first use in this function) _mysql.c:380: error: '_mysql_ConnectionObject' has no member named 'connection' _mysql.c:382

Centos安装fabric 报错:error: ‘FFI_DEFAULT_ABI’ undeclared (first use in this function)

Centos安装fabric 报错: error: 'FFI_DEFAULT_ABI' undeclared (first use in this function) 需要安装libffi-devel Debian或Ubuntu需要安装 libffi-dev

python27(32位)安装模块报错“error: Unable to find vcvarsall.bat”

1)首先,下载一个Microsoft Visual C++ Compiler for Python 2.7的补丁,下载地址在这里: http://www.microsoft.com/en-us/download/details.aspx?id=44266 2) 然后下载安装VS2008(对应VER9.0),如果电脑上安装的是VS2010(对应VER10.0), 可以在VS命令行下执行:SET VS90COMNTOOLS=%VS100COMNTOOLS% 如果你安装的是 2012 版(对应VER1

CentOS 6安装KVM后安装虚拟机报错

安装KVM在配置完桥接网卡后,安装虚拟机报错. 附有CentOS 6安装KVM文档,和安装过程截图,可否有人能看出其中问题所在,小女子不胜感激.

安装nghttp2 报错error: Libtool library used but 'LIBTOOL' is undefined

nghttp2 报错error: Libtool library used but 'LIBTOOL' is undefined 如果重新安装libtool和autoconf升级到2.69后,还是报错, 则进行下面的操作: 1,查看aclocal的路径 aclocal --print-ac-dir 显示/usr/local/share/libtool/m4 ls看看里面没有m4文件. 则copy /usr/share/libtool/m4里面的m4文件到此目录下. 2,cd到nghtt2目录 执

安装STS报错(一)

安装STS报错 1.具体报错如下 2.报错原因 3.解决办法 安装STS报错(一)