Cloudera Manager大数据平台搭建

在企业里快速搭建大数据平台除了Ambria外还可以用Cloudera Manager，这两种工具相对于纯手工搭建确实便捷很多，但是有利也有弊，相对于新手来说就不便于掌握内部原理，不好排错等,而纯手工搭建，出错较多，不容易成功。

一. 规划：
192.168.3.201 server/agent mysql
192.168.3.202 agent namenode
192.168.3.203 agent namenode（备） resourcemanager
192.168.3.204 agent resourcemanager （备）
192.168.3.205 agent

二. 环境准备

  1. 系统：Centos 6.5 64位
  2. 配置IP，hostname,
    各个服务器IP配置：# vim /etc/sysconfig/network-script/ifcfg-eth0
    service network restart
    各个服务器名配置：# vim /etc/sysconfig/network

    vim /etc/hosts

                192.168.3.201    rac201.com
            192.168.3.202    rac202.com
            192.168.3.203    rac203.com
            192.168.3.204    rac204.com
            192.168.3.205    rac205.com

  3.检查DNS配置，确保能上网
    # vim /etc/resolve.conf
    #   ping www.baidu.com

  4.关闭防火墙和禁用selinux
     getenforce   查看selinux的状态并修改为disable状态
    #  vim  /etc/sysconfig/selinux
                 SELINUX=disable
            重启生效

  5. 禁用和关闭防火墙
      临时禁用  #  iptables -F
                #  setenforce 0
            或设置开机不启动
                #   service  iptables stop
                #   chkconfig iptables off

  6. 所有服务器卸载自带的JDK，安装新版本，比如1.7或1.8版本的
     # rpm  -qa | grep java
     # rpm -e --nodeps tzdata-java-2012j-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
     # mkdir -p /opt/modules
     # tar zxf jdk-8u141-linux-x64.gz -C /opt/modules   

  7. 对所有服务器配置JAVA环境变量
     # vi /etc/profile
     export JAVA_HOME=/opt/modules/jdk1.8.0_141
     export PATH=$PATH:$JAVA_HOME/bin
     # source /etc/profile
  8. 拷贝配置到其他服务器
     # scp -r  /opt/modules/jdk1.8.0_141  [email protected]:/opt/modules/
     # scp -r  /opt/modules/jdk1.8.0_141  [email protected]:/opt/modules/
     # scp -r  /opt/modules/jdk1.8.0_141  [email protected]:/opt/modules/
     # scp -r  /opt/modules/jdk1.8.0_141  [email protected]:/opt/modules/

     检查：  java -version

  9. 配置服务器之间免密钥登录
     9.1  #  ssh-keygen
          #  ssh-copy-id -i ~/.ssh/id_rsa.pub rac201.com
          #  ssh-copy-id -i ~/.ssh/id_rsa.pub rac202.com
          #  ssh-copy-id -i ~/.ssh/id_rsa.pub rac203.com
          #  ssh-copy-id -i ~/.ssh/id_rsa.pub rac204.com
          #  ssh-copy-id -i ~/.ssh/id_rsa.pub rac205.com

     9.2  # ssh rac01.com
          # exit            #不要忘记连接后要退出
          # ssh rac02.com
          # exit
          # ssh rac03.com
          # exit
          # ssh rac04.com
          # exit
          # ssh rac05.com
          # exit

 10. 服务器时间同步
    10.1 启动ntpd进程服务
        # service ntpd start
        # chkconfig ntpd on
        # chkconfig --list | grep ntpd
    10.2 修改时间服务器的配置
        # vim /etc/ntp.conf
        打开注释，修改成本服务器的网段
        # restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap
        注释掉以下几行，可能是三行也可能是五行
        #server 0.centos.pool.ntp.org
        #server 1.centos.pool.ntp.org
        #server 2.centos.pool.ntp.org

        手工添加以下两行
        server  127.127.1.0     # local clock
        fudge   127.127.1.0 s
        启动并且配置开机时启动
        # service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd

11. 对所有服务器设置能打开的文件最大数量、进程最大数，能使用的内存等
     # vi /etc/security/limits.conf
        *               soft    nofile          32728
        *               hard    nofile          1024567
        *               soft    nproc           65535
        *               hard    nproc           unlimited
        *               soft    memlock         unlimited
        *               hard    memlock         unlimited

     复制limits.conf到其他服务器中
     # scp /etc/security/limits.conf [email protected]:/etc/security/limits.conf
     # scp /etc/security/limits.conf [email protected]:/etc/security/limits.conf
     # scp /etc/security/limits.conf [email protected]:/etc/security/limits.conf
     # scp /etc/security/limits.conf [email protected]:/etc/security/limits.conf
     重启生效：  ulimit -a

三. Mysql数据库安装

  1. 在rac201服务器检查并卸载系统自动安装的Mysql版本,

    rpm -qa | grep mysql

        # rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
  2. 采用yum源方式安装Mysql5.6, 先下载yum源文件,

    wget http://repo.mysql.com/mysql57-community-release-el6-8.noarch.rpm

        # rpm -Uvh mysql57-community-release-el6-8.noarch.rpm
    修改yum源文件：
      vim /etc/yum.repos.d/mysql-community.repo
      [mysql56-community]
      enabled=1
      gpgcheck=1

      [mysql57-community]
      enabled=0
      gpgcheck=1

      vim /etc/yum.repos.d/mysql-community-source.repo
      [mysql56-community-source]
      enabled=1
      gpgcheck=1

      [mysql-tools-preview-source]
      name=MySQL Tools Preview - Source
      baseurl=http://repo.mysql.com/yum/mysql-tools-preview/el/6/SRPMS
      enabled=1
      gpgcheck=1

    用yum repolist mysql这个命令查看一下是否已经有mysql可安装文件
      #yum repolist all | grep mysql

    yum安装mysql, 一直yes下去
    # yum -y install mysql-community-server

    安装成功后，启动并初始化
    # service mysqld start
    # service mysqld status

    mysql刚安装完，mysql的root用户的密码默认是空的，需要给root用户设置密码密码，执行下列命令进行安全设置
    # mysql_secure_installation        

    输入当前用户：回车

    输入root密码：123456

    production environment.

    Remove anonymous users? [Y/n] y
     ... Success!

    Normally, root should only be allowed to connect from ‘localhost‘.  This
    ensures that someone cannot guess at the root password from the network.

    Disallow root login remotely? [Y/n] n
     ... skipping.

    By default, MySQL comes with a database named ‘test‘ that anyone can
    access.  This is also intended only for testing, and should be removed
    before moving into a production environment.

    Remove test database and access to it? [Y/n] n
     ... skipping.

    Reloading the privilege tables will ensure that all changes made so far
    will take effect immediately.

    Reload privilege tables now? [Y/n] y
     ... Success!

四. Cloudera Manager安装

  1. 在每台服务器上安装第三方依赖包，或者在Centos系统安装时安装好开发包
    yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
  2. 提前下载好cloudera-manager-el6-cm5.3.6_x86_64.tar.gz
    http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.6_x86_64.tar.gz
  3. 在rac201服务器上创建CM的解压目录

    mkdir -p /opt/cloudera-manager

    tar -zxf cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager

    在rac201服务器上修改修改agent配置

    vi /opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent/config.ini

    Hostname of the CM server.

    server_host=rac201.com
server_port=7182
  4. 拷贝解压后的CM文件夹到其他服务器

    scp -r /opt/cloudera-manager/ [email protected]:/opt/

    # scp -r /opt/cloudera-manager/ [email protected]:/opt/
# scp -r /opt/cloudera-manager/ [email protected]:/opt/
# scp -r /opt/cloudera-manager/ [email protected]:/opt/
  5. 在所有服务器上创建CM的用户

    useradd --system --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server --no-create-home --shell=/bin/false cloudera-scm

    # cat /etc/passwd | grep cloudera-scm
  6. 设置CM数据库的权限

    mysql -uroot -p123456

    mysql> grant all privileges on *.*  to ‘temp‘@‘%‘ identified by ‘temp‘ with grant option;
mysql> grant all privileges on *.* to ‘temp‘@‘rac01.com‘ identified by ‘temp‘ with grant option;
mysql> flush privileges;
mysql> use  mysql;
mysql> select host ,user from user;     

进入rac201服务器以下文件夹，执行脚本命令，事先要将mysql-connector-java.jar放入/usr/share/java文件夹中
# cd /opt/cloudera-manager/cm-5.3.6/share/cmf/schema
# ./scm_prepare_database.sh mysql -h rac01.com -utemp -ptemp --scm-host rac01.com scm scm scm
  7. 提前下载好CDH源文件
    CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel
    CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha
    在rac201服务器上创建以下目录

    mkdir -p /opt/cloudera/parcel-repo

    # mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel* /opt/cloudera/parcel-repo/

在所有服务器上创建
# mkdir -p /opt/cloudera/parcels        

更改parcel目录的所有人
在rac201服务器上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
在所有服务器上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels
  8. 启动CM的进程
    在rac201服务器上

    cd /opt/cloudera-manager/cm-5.3.6/etc/init.d

     # ./cloudera-scm-server  start

    在所有服务器上启动agent进程

    cd /opt/cloudera-manager/cm-5.3.6/etc/init.d/

     # ./cloudera-scm-agent start

    CM的服务器登录界面
    http://rac01.com:7180
    登录账号和密码 admin admin

原文地址：http://blog.51cto.com/737055/2128788

时间： 2024-09-30 14:00:25

Cloudera Manager大数据平台搭建的相关文章

Cloudera hadoop 大数据平台实战指南（1）

大数 据 主要 具有 四方 面的 典型 特征-- 规模 性( Volume). 多样性( Variety). 高速 性( Velocity) 和 价值 性( Value), 即 所谓 的" 4V". 大数据时代的关键技术:(1) 大数 据 采集 技术(2) 大 数据 预处理 技术(3) 大数 据 存储 及 管理 技术(4) 大数 据分析 及 挖掘 技术(5) 大 数据 可 视 化 展现 技术 什么是hadoop?Hadoop 最初 是 开 始于 2002 年的 Apache 的 Nut

《Cloudera hadoop大数据平台实战指南》此书预计2018年12月底上市

这本书由宋立桓老师和陈建平老师共同合作,本书的切入点明确而清晰,从Hadoop 生态明星 Cloudera 入手,单刀直入逐步引出各类大数据基础和核心应用框架. 全书系统介绍了大数据的相关知识,全书共十八章(宋立桓老师撰写第一章到第十二章.陈建平撰写第十三章到第十八章),从大数据概述.Cloudera hadoop平台的安装部署.并对大数据hadoop组件分别进行介绍,包括HDFS分布式文件系统.MapReduce计算框架.资源管理框架YARN .hive数据仓库.数据迁移工具Sqoop.分布式

Hadoop集群大数据平台搭建

Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式:单机模式.伪分布模式.完全分布模式,只要掌握了完全分布模式,也就是集群模式的搭建,剩下的两种模式自然而然就会用了,一般前两种模式一般用在开发或测试环境下,Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式. 硬件选择 须知: 分布式环境中一个服务器就是一个节点 节点越多带来的是集群性能的提升 一个Hadoop集群环境中,NameNode,SecondaryNameNode和DataNo

大数据平台搭建笔记一：hadoop

0.机器准备 准备4台测试笔记本用于做服务器(装上CentOS6.5_x86_64系统)作部署集群. 配置每台机器上的/etc/hosts文件,例如: [[email protected] ~]$ sudo vi /etc/hosts 192.168.110.1  master 192.168.110.2   slave1 192.168.110.3   slave2 192.168.110.4   slave3 1.ssh免密码登录设置 [[email protected] ~]$ ssh -

大数据平台搭建 - cdh5.11.1 - oozie安装

一.简介 oozie是hadoop平台开源的工作流调度引擎,用来管理hadoop作业,属于web应用程序,由oozie server 和oozie client构成. oozie server运行与tomcat容器中 oozie的工作流必须是一个有向无环图,当用户需要执行多个关联的MapReduce作业时,只需要把作业写进workflow.xml中,再提交到oozie,oozie便可以托管服务,按照预先的配置有序执行任务. 二.安装 1.下载编译好的cdh版本 http://archive.cl

小型大数据平台搭建

目录 前言 一. 搭建环境 1.1集群规划 二. 集群的相关配置 2.1 新建用户hadoop 2.2 更改主机名 2.3 主机和IP做相关映射 2.4 SSH免密码登录 2.5 时间配置 2.6 整体安装目录安排 三. Hadoop HA环境搭建 3.1 JDK配置 3.2 安装配置Zookeeper集群 3.3 安装配置hadoop HA集群 四. Hive+MySQL 的安装与配置 4.1 Hive的安装部署 4.2 MySQL数据库安装配置 4.3 修改hive-site.xml 4.4

大数据平台搭建：Hadoop-3.1.3+Hive-3.1.2+HBase-2.2.3+Zookeeper-3.5.7+Kafka_2.11-2.4.0+Spark-2.4.5

1.框架选型 hadoop-3.1.3 hive-3.1.2 zookeeper-3.5.7 hbase-2.2.3 kafka_2.11-2.4.0 spark-2.4.5-bin-hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5.配置 IP 和 主机名映射 6.Mysql 安装 3.安装 3.1 Hadoop 安装 1.hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_1

大数据知识点分享：大数据平台应用 17 个知识点汇总

一.大数据中的数据仓库和Mpp数据库如何选型? 在Hadoop平台中,一般大家都把hive当做数据仓库的一种选择,而Mpp数据库的典型代表就是impala,presto.Mpp架构的数据库主要用于即席查询场景,暨对数据查询效率有较高要求的场景,而对数据仓库的查询效率要求无法做大MPP那样,所以更多地适用与离线分析场景. Hadoop已经是大数据平台的实时标准,其中Hadoop生态中有数据仓库Hive,可以作为大数据平台的标准数据仓库, 对于面向应用的MPP数据库,可以选择MYCAT(mySql的

ambari 搭建hadoop大数据平台系列1-概述

最近要为第三方搭建一套大数据平台,中间先进行了虚拟机版本,测试通过后,进行了物理机版本的生产环境,网上关于ambari 的文章并不多,但好在ambari 官方文档质量略高,社区比较活跃,便整理该系列的文档,将埋掉的坑抛出来,帮助小伙伴们更加快速的搭建自己的hadoop 平台. 分三个部分: 1. 为什么选择ambari 来搭建 说到ambari, 主要的对手cloudrea manager ,大家比较熟悉,至于各自长短,优势劣汰,大家自己斟酌选择啦. Cloudera Manager is di