CDH集群部署时遇到的问题

  CDH:全称Cloudera’s Distribution Including Apache Hadoop

  CDH版本衍化hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。

  Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。截至目前为止,CDH共有5个版本,其中,前两个已经不再更新,最近的两个,分别是CDH4,在Apache Hadoop 2.0.0版本基础上演化而来的,CDH5,它们每隔一段时间便会更新一次。

  最近安装CDH5安装时遇到一吨的问题,我整理了一下送给第一次安装的大家,希望能够节省大家的工作时间和学习时间。

  我用的是centos系统离线安装的方法,安装的文档网上不少,大同小异:

  

Ubuntu安装的案例

http://www.aboutyun.com/thread-9107-1-1.html

centos 安装的案例

http://www.aboutyun.com/thread-10852-1-1.html

cdh 使用文档

http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/introduction.html

大家可以参照上面文档做参考。

  

问题1:在主节点初始化 CM5的数据库

报错:ld-linux.so.2   bad ELF interpreter

解决:安装 glibc 和 glibc.i686

问题2:

报错:ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>

解决:$> ps -ef | grep supervisord

$> kill -9 <processID>

/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent restart

问题3:server启动时,日志提示端口被占用。

解决:删除java进程。

问题4:web安装,当前管理的主机显示都是本地地址

解决:注释/etc/hosts 的loaclhost ,在检查agent日志的报错。

重启所有agent

重启server

问题4:web数据库设置,登入被拒绝

解决:grant all privileges on *.* to ‘hive‘@‘cdh1‘ identified by ‘123456‘ with grant option;

指定主机名或IP地址

问题5:web安装时,群集设置 HDFS格式失败

解决:删除原有的/dfs

问题6:web安装时,群集设置HDFS 创建/tmp失败

解决:ntp一定启动服务器,不能光用命令同步。(这个好像不是问题的所在,但是ntp服务必须要启动的)

还出现,再重试试试。

问题7:web管理页面提示时间偏差

解决:检查ntpdc -c loopinfo

Name or service not known

vim /etc/hosts

添加 本机IP对应localhost 地址

时间: 2024-10-09 20:41:14

CDH集群部署时遇到的问题的相关文章

Nginx+Tomcat+Memcached 实现集群部署时Session共享

一.简介 我们系统经常要保存用户登录信息,有Cookie和Session机制,Cookie客户端保存用户信息,Session在服务端保存用户信息,如果浏览器不支持Cookie或者用户把Cookie禁掉了,Cookie就用不了,还有不同的浏览器采用不用方式保存Cookie,所以我们采用Session服务端来保存,上一节我们有介绍了Tomcat集群部署,怎么样集群的Tomcat对同个用户请求的都能获取保存在Session的用户信息,采用了Memcached管理Session,Memcached 是一

大厂面试题:集群部署时的分布式 session 如何实现?

面试官心理分析面试官问了你一堆 dubbo 是怎么玩儿的,你会玩儿 dubbo 就可以把单块系统弄成分布式系统,然后分布式之后接踵而来的就是一堆问题,最大的问题就是分布式事务.接口幂等性.分布式锁,还有最后一个就是分布式 session. 当然了,分布式系统中的问题何止这么一点,非常之多,复杂度很高,这里只是说一下常见的几个问题,也是面试的时候常问的几个. 面试题剖析session 是啥?浏览器有个 cookie,在一段时间内这个 cookie 都存在,然后每次发请求过来都带上一个特殊的 jse

Tomcat部署问题,Tomcat集群部署问题。

1.服务器崩溃,指的是Tomcat程序崩溃,还是服务器系统崩溃? 答:都有可能. 所以一台服务器上部署多个Tomcat可以防止程序崩溃问题.但不能避免服务器崩溃,要避免服务器崩溃,就要采用服务器集群. 2.那么多台Tomcat,也就是集群部署时.那怎么升级程序呢?如果升级了,升级过程中就不能访问网站了啊?怎么解决? 答:可以采取部分升级策略啊,先升级一部分,再升级另一部分. 或者采取夜间升级.比如凌晨4点 3.临时访问量增加时,可以通过添加Tomcat服务器来提高并发量,活动取消时,再撤去一些T

Memcached 集群部署

一.Memcached简介 Memcached 是一个高性能的分布式内存对象缓存系统,Memcached的高性能源于两阶段哈希(two-stage hash)结构,Memcached基于一个存储键/值对的HashMap,减轻数据库负载,它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态.数据库驱动网站的速度.当内存容量达到指定设定的值时,LRU算法自动删除不使用的缓存. 二.Memcached应用的场景 (1)Memcached大部分是应用在作为数据库前端缓存,减少了连接数据库次数

万台规模下的SDN控制器集群部署实践

目前在网络世界里,云计算.虚拟化.SDN.NFV这些话题都非常热.今天借这个机会我跟大家一起来一场SDN的深度之旅,从概念一直到实践一直到一些具体的技术. 本次分享分为三个主要部分: SDN & NFV的背景介绍 SDN部署的实际案例 SDN控制器的集群部署方案 我们首先看一下SDN.其实SDN这个东西已经有好几年了,它强调的是什么?控制平面和数据平面分离,中间是由OpenFlow交换机组成的控制器,再往上就是运行在SDN之上的服务或者是应用.这里强调两个,控制器和交换机的接口——我们叫做南向接

入门初探+伪集群部署

Kafka入门初探+伪集群部署 Kafka是目前非常流行的消息队列中间件,常用于做普通的消息队列.网站的活性数据分析(PV.流量.点击量等).日志的搜集(对接大数据存储引擎做离线分析). 全部内容来自网络,可信度有待考证!如有问题,还请及时指正. 概念介绍 在Kafka中消息队列分为三种角色: producer,即生产者,负责产生日志数据. broker,存储节点,负责按照topic中的partition分区,均匀分布式的存储分区. consumer,即消费者,负责读取使用broker中的分区.

OpenStack Swift集群部署流程与简单使用

转载:http://www.cnblogs.com/fczjuever/p/3224022.html 之前介绍了<OpenStack Swift All In One安装部署流程与简单使用>,那么接下来就说一说Swift集群部署吧. 1. 简介 本文档详细描述了使用两台PC部署一个小型Swift集群的过程,并给出一些简单的使用实例.本文档假定如下前提条件: 使用Ubuntu操作系统. 每台机器都运行Swift的所有服务,既是Proxy Server,又是Storage Server,用户可以向

FastDFS集群部署

之前介绍过关于FastDFS单机部署,详见博文:FastDFS+Nginx(单点部署)事例 下面来玩下FastDFS集群部署,实现高可用(HA) 服务器规划: 跟踪服务器1[主机](Tracker Server):10.100.139.121 跟踪服务器2[备机](Tracker Server):10.100.138.180 存储服务器1(Storage Server):10.100.139.121 存储服务器2(Storage Server):10.100.138.180 存储服务器3(Sto

solr 集群(SolrCloud 分布式集群部署步骤)

SolrCloud 分布式集群部署步骤 安装软件包准备 apache-tomcat-7.0.54 jdk1.7 solr-4.8.1 zookeeper-3.4.5 注:以上软件都是基于 Linux 环境的 64位 软件,以上软件请到各自的官网下载. 服务器准备 为搭建这个集群,准备三台服务器,分别为 192.168.0.2 -- master 角色192.168.0.3 -- slave 角色192.168.0.4 -- slave 角色 搭建基础环境 安装 jdk1.7 - 这个大家都会安装