CDH:全称Cloudera’s Distribution Including Apache Hadoop
CDH版本衍化hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。
Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。截至目前为止,CDH共有5个版本,其中,前两个已经不再更新,最近的两个,分别是CDH4,在Apache Hadoop 2.0.0版本基础上演化而来的,CDH5,它们每隔一段时间便会更新一次。
最近安装CDH5安装时遇到一吨的问题,我整理了一下送给第一次安装的大家,希望能够节省大家的工作时间和学习时间。
我用的是centos系统离线安装的方法,安装的文档网上不少,大同小异:
Ubuntu安装的案例
http://www.aboutyun.com/thread-9107-1-1.html
centos 安装的案例
http://www.aboutyun.com/thread-10852-1-1.html
cdh 使用文档
http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/introduction.html
大家可以参照上面文档做参考。
问题1:在主节点初始化 CM5的数据库
报错:ld-linux.so.2 bad ELF interpreter
解决:安装 glibc 和 glibc.i686
问题2:
报错:ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>
解决:$> ps -ef | grep supervisord
$> kill -9 <processID>
/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent restart
问题3:server启动时,日志提示端口被占用。
解决:删除java进程。
问题4:web安装,当前管理的主机显示都是本地地址
解决:注释/etc/hosts 的loaclhost ,在检查agent日志的报错。
重启所有agent
重启server
问题4:web数据库设置,登入被拒绝
解决:grant all privileges on *.* to ‘hive‘@‘cdh1‘ identified by ‘123456‘ with grant option;
指定主机名或IP地址
问题5:web安装时,群集设置 HDFS格式失败
解决:删除原有的/dfs
问题6:web安装时,群集设置HDFS 创建/tmp失败
解决:ntp一定启动服务器,不能光用命令同步。(这个好像不是问题的所在,但是ntp服务必须要启动的)
还出现,再重试试试。
问题7:web管理页面提示时间偏差
解决:检查ntpdc -c loopinfo
Name or service not known
vim /etc/hosts
添加 本机IP对应localhost 地址