CDH 2、Cloudera Manager的安装

1、Cloudera Manager 

  • Cloudera Manager是一个管理CDH的端到端的应用。
  • 作用:
    – 管理
    – 监控
    – 诊断
    – 集成

  • 架构

      

  • Server
    – 管理控制台服务器和应用程序逻辑
    – 负责软件安装、配置,启动和停止服务
    – 管理服务运行的群集
  • Agent
    – 安装在每台主机上
    – 负责启动和停止进程,配置,监控主机
  • Management Service
    – 由一组角色组成的服务,执行各种监视、报警和报告功能
  • Database
  • Cloudera Repository
  • Clients
    • Admin Console
    • API

2、安装前环境搭建

  1 .网络配置( 所有节点)
    vi /etc/sysconfig/network 修改 hostname:

    
    通过 service network restart 重启网络服务生效

    vi /etc/hosts ,修改 ip 与主机名的对应关系

    

  2 .SSH 免密码登录
    主节点执行:
    ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
    生成无密码密钥对
    拷贝公钥到其他节点,执行
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    测试:主节点 ssh 其他节点 ……; 如果不能成功的话,则先在其他节点让做其他节点自己的免密码登录即:分别在节点上使用命令 ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

    然后再重复上面操作

  3. 关闭 防火墙
    临时关闭:
    service iptables stop
    永久关闭(重启后生效):
    chkconfig iptables off

  4.关闭 SELINUX  

    临时关闭:
    setenforce 0
    修改配置文件/etc/selinux/config(重启生效) :
    将 SELINUX=enforcing 改为 SELINUX=disabled
    查看 SELINUX 状态:
    1)  /usr/sbin/sestatus –v
    SELinux status: enabled(enabled:开启;disabled:关闭)
    2) 使用命令:getenforce

  5.安装 JDK 

    本文采用 RPM 包安装…….执行:
    rpm -ivh jdk-7u80-linux-x64.rpm
    配置环境变量,修改/root/.bash_profile:
    export JAVA_HOME=/usr/java/jdk1.7.0_80
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=.:$JAVA_HOMdE/lib/dt.jar:$JAVA_HOME/lib/tools.jar  

    生效:
    source /etc/profile
    查看版本:
    [[email protected] cdh]# java -version
    java version "1.7.0_80"
    Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
    Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

  6. 设置 NTP

    所有节点安装 NTP:
    yum install ntp
    配置开机启动:
    chkconfig ntpd on
    检查是否设置成功:
    chkconfig --list ntpd (2-5 为 on 状态则成功)
    设置同步:
    ntpdate -u ntp.sjtu.edu.cn(时钟服务器根据实际环境设置、本文采用 210.72.145.44-国家授时中心服务器 IP 地址)

  7.安装 配置 MySql

    可使用Yum自带的Mysql  使用命令 yum install mysql-server

  8.下载依赖包

    yum -y install  chkconfig  python  bind-utils  psmisc  libxslt  zlib  sqlite  cyrus-sasl-plain  cyrus-sasl-gssapi  fuse  fuse-libs  redhat-lsb

3、CM安装

  1 . 安装 Cloudera Manager Server&Agent
    拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点
    创建 cm 目录:
    mkdir /opt/cloudera-manager
    解压 cm 压缩包:
    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

  2 . 创建用户 cloudera-scm ( 所有 节点)
    执行:
    

useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server  --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

  3 . 配置 CM Agent
    修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中server_host 以及 server_port(默认7180 不变即可)

  4 . 配置 CM Server 的 数据库
    将驱动包拷贝到目录下( 注意拷贝过去的驱动包名字一定要和下边的一样,否则会报错 ) :
    cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar

    登录MySql : $ mysql -p mysql -uroot   (首次登录不需要密码)

    执行:

    mysql> use mysql;

    mysql> delete from user where user=‘‘;

    mysql> update user set password=PASSWORD(‘123456‘) where user=‘root‘;  #为mysql的Root用户更改密码

   --为其他客户端开启连接权限  如果是hive和mysql在同一台服务器上则不需要授权   可以把 %改成IP,则授权固定IP 

    mysql>grant all privileges on *.* to ‘root‘@‘%‘ identified by ‘123456‘;

    mysql> grant all on *.* to ‘temp‘@‘%‘ identified by ‘temp‘ with grant option;  #如果temp数据库存在,则先删除执行这句

    mysql>flush privileges;  刷新权限

    退出MySql 然后执行下面的命令

    cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema

    ./scm_prepare_database.sh mysql -h myhost1.sf.cloudera.com -utemp -ptemp --scm-host myhost2.sf.cloudera.com scm scm scm

    例如:  

    ./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm
    (对应于:数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….)   

    mysql> drop user ‘temp‘@‘%‘;
    若上步失败或过程中操作中断,删除所有库、重头来过 /( ㄒ o ㄒ )/~~
    

    若安装 Oozie 等组件可能需要手动创建对应组件所需的数据库,例如:
    create database ooziecm DEFAULT CHARACTER SET utf8;
    grant all on ooziecm.* TO ‘ooziecm‘@‘%‘ IDENTIFIED BY ‘ooziecm‘; 

  5 . 创建 Parcel 目录
    Manager 节点创建目录/opt/cloudera/parcel-repo,执行:
    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
    将下载好的文件(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、manifest.json)拷贝到该目录下。
    Agent 节点创建目录/opt/cloudera/parcels,执行:
    mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

  6 . 启动 CM Manager&Agent 服务
  执行:
    Manager:/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start
    Agents:/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
  访问:http://ManagerHost:7180,若可以访问(用户名、密码:admin) ,则安装成功。
  Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。

4、CDH5 5  安装

  CM Manager && Agent 成功启动后,登录前端页面进行 CDH 安装配置。免费版本的 CM5 已经去除 50 个节点数量的限制。

    

          

    在这里指出了不同的版本之间功能上的不同

  

    选择当前要安装CDH的主机

    

    选择安装CDH的版本,在这里我们要选择我们下载并且上传到Linux下的那个版本

    

    下载安装配置的阶段会比较慢,需要耐心等待

    

    检查正确性,在这里会有一个警告:xxx  最好是把警告解决了,然后再次重启然后访问7180进行安装

    

    在这里选择要安装哪些服务,建议都不选择,到安装成功以后再安装这些服务。

    

    配置数据库的链接,如果是按上面的一路走下来的话,那么数据库名、用户名、密码都是   temp  即:   temp  temp  temp

    

    这个是各种服务的目录,最好记录下来,以方便后面使用

      

    然后就是各种安装啦,安装在功以后会显示下面的界面

    

    在左侧的位置会显示一些安装以后的一些警告信息和错误信息,如果是真正企业环境的话,建议把这些警告全部解决掉。

    

  

时间: 2024-10-10 09:30:45

CDH 2、Cloudera Manager的安装的相关文章

[How to]Cloudera manager 离线安装手册

1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera manager版本:5.5.1 CDH版本:5.4.2 安装用户:root 资源: 10.211.55.16 xufeng-1 CM主节点,CM代理节点 10.211.55.17 xufeng-2 CM代理节点 10.211.55.18 xufeng-3 CM代理节点 3.介质准备 由于是要求在离线环境下进行安装,所以我们必须是先下载好安装所需要的所有介质.

cloudera manager的安装

1.修改/etc/hosts 加入集群各节点的主机ip 及主机名.(For all hosts) 例如: 192.168.4.190 hl0 192.168.4.191 hl1 192.168.4.192 hl2 192.168.4.193 hl3 2确认已经开启ssh服务 .(For all hosts) ps -e |grep ssh,如果看到sshd那说明ssh-server已经启动了. 补充: SSH分客户端openssh-client和openssh-server. openssh-c

通过Cloudera Manager安装CDH 5.6

CDH的简单介绍 大家经常说CDH,其全称是:Cloudera's Distribution Including Apache Hadoop,简单的说是Cloudera公司的Hadoop平台,是在Apache原生的Hadoop个组件基础上进行了封装和加强.CDH里面有些什么东西呢?如下图: 那么这个CDH软件如何安装呢?Cloudera公司提供了一套安装CDH,管理.维护CDH各组件的一个软件,叫做Cloudera Manager(以下简称为CM).CM本身是一种主从结构,由CM Server和

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

原文  http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控

Cloudera Manager、CDH零基础入门、线路指导 http://www.aboutyun.com/thread-9219-1-1.html (出处: about云开发)

Cloudera Manager.CDH零基础入门.线路指导http://www.aboutyun.com/thread-9219-1-1.html(出处: about云开发) 问题导读:1.什么是cloudera CM .CDH?2.CDH.CM有哪些版本?3.CDH.CM有哪些安装方式?4.CDH如何开发? <ignore_js_op> 我们知道cloudera CDH 是为简化hadoop的安装,也对对hadoop做了一些封装.那么我们就像尝试学习cloudera.cloudera本质h

基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一.Cloudera Manager/CDH5 1.关于cloudera manager和CDH是什么,这里不做详细介绍了.有官网和百科介绍. 附上官网地址:cloudera manager 2.官网的安装指南 官方文档提供了三种安装方式:在线自动安装/手动安装包安装/手动使用cloudera manager管理安装 此处使用第三种方式安装hadoop集群. 二.环境规划 1.系统:CentOS 6.4_x86 master:4G内存,硬盘尽量大容量 slave1:2G内存,硬盘尽量大容量 sl

Cloudera manager的服务安装以及spark升级到2.2

一.Cloudera manager的服务安装 包含2个: 1. 是软件包的分发.安装 此种方式安装的时候.Cloudera manager会在激活这个步骤验证软件的版本和当前cdh的兼容性.如果不符合会提示,并且不能激活. (1).包的在线安装 上一步中配置会打开这个界面进行:下载地址的配置. 点击分配步骤之后,.parcel的软件包在每台机器上就已经复制了,并且是解压好的安装包. (2).通过自己下载.parcel,上传到软件包目录 此种方式安装的时候.Cloudera manager在激活

Cloudera Manager Server CDH 5.15部署

安装前准备 主机和系统 Host OS Memory IP bigdata001-dev Cent OS 7.4 x64 32G 192.168.1.1 bigdata002-dev Cent OS 7.4 x64 32G 192.168.1.2 bigdata003-dev Cent OS 7.4 x64 15G 192.168.1.3 bigdata004-dev Cent OS 7.4 x64 32 192.168.1.4 安装包下载 下载 cloudera-manager.repo 文件

安装Cloudera Manager中需要注意的问题

环境:centos6.5 查看Cloudera Manager官方安装文档,注意版本一定要对应上 在官网下载安装需要的依赖包 Installation failed. Failed to receive heartbeat from agent. Ensure that the host's hostname is configured properly.     Ensure that port 7182 is accessible on the Cloudera Manager Server