CM+CDH安装教程(CentOS)

一、简单介绍

CM:Cloudera Manager,Cloudera公司编写的一个CDH的管理后台,类似各CMS的管理后台。

CDH:Cloudera’s distribution,including Apache Hadoop,Cloudera公司制作的一个Hadoop发行版,集成了Hadoop及Hive等与Hadoop关系紧密的工具。

也经常直接用CM指代其本身和CDH。CM最大的好处是通过自动化的部署大大降低了Hadoop集群的部署工作量。

二、下载

本教程CM采用离线形式安装版本为当前最新的5.11.0,CDH也以离线形式安装

CM相关软件集:http://archive.cloudera.com/cm5/repo-as-tarball/5.11.0/cm5.11.0-centos6.tar.gz(根据自己操作系统下载)

CDH:http://archive.cloudera.com/cdh5/parcels/latest/(下载manifest.json及自己系统相应的.parcel和.sha1文件)

三、安装前的配置

3.1主机环境介绍

主机名 hadoop1 ip 192.168.220.136
内存 8G 用户 hadoop

3.2修改主机名(root执行)

修改主机名为hadoop1,执行:hostname hadoop1
永久修改主机名,编缉/etc/sysconfig/network:将HOSTNAME值修改为hadoop1
写入/etc/hosts文件,在/etc/hosts追加行:192.168.220.136 hadoop1

3.3配置静态IP

本教程使用的是VM虚拟机,一般而言VM默认是DHCP但分配给各虚拟机的IP还是固定的,但在具体的安装实验中发现主机或CM重启后IP漂移,导致CM不能成功启动的现象。

编缉/etc/sysconfig/network-scripts/ifcfg-eth0,将BOOTPROTO由dhcp改为static,然后追加IP/网关IP/掩码三项内容(具体值根据自己情况修改):

IPADDR=192.168.220.136
GATEWAY=192.168.220.2
NETMASK=255.255.255.0

然后重启网卡:service network restart

重启时可能会出现错误:Bringing up interface eth0:  Error: No suitable device found: no device found for connection ‘System eth0‘

首先可能使用的网卡不是eth0,使用ifconfig命行查看当前使用网卡(比如叫eth1)然后把配置文件名ifcfg-eth0改为ifcfg-eth1,把文件内的DEVICE值也改为eth1

然后可能mac地址也不对,用ifconfig命令查到的HWaddr值替换配置文件中的HWADDR的值。最后再重启即可

3.4关闭防火墙

CM会使用大量端口,这里选择直接关闭防火墙,如果你觉得防火墙配置没有问题可以不关

停止防火墙服务:service iptables stop

禁止开机自启动:chkconfig --level 35 iptables off

查看是否设置成功:chkconfig --list iptabels

3.5关闭selinux

selinux配置设置太严格,可能会与CM需要的功能相冲突,我们选择直接关掉

编缉/etc/selinux/config,将SELINUX的值修改为disabled(默认为enforcing)

重启操作系统生效(这里发须重启操作系统setenforce 0 CM是不承认的)

3.6安装配置MySQL

yum -y install mysql mysql-server mysql-devel    #安装MySQL
chkconfig mysqld on                              #开机自启动
service mysqld start                             #启动MySQL
mysql_secure_installation                        #配置数据库用户名密码mysql -u root -p                                 #登录MySQL
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all on *.* to root@"%" Identified by "toor" with grant option;
grant all on *.* to ‘root‘@‘hadoop1‘ identified by ‘toor‘ with grant option;
grant all privileges on *.* to ‘root‘@‘hadoop1‘ identified by ‘toor‘ with grant option;
flush privileges;

3.7创建hadoop用户

useradd -U hadoop
echo "hadoop"|passwd --stdin hadoop

3.8配置ssh

su - hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3.9配置时间同步

编缉/etc/ntp.conf,追加:

server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org
service ntpd restart
ntpdate -u 1.cn.pool.ntp.org
ntpq -p
ntpdc -np #如果有*开头的表示已同步

四、安装CM

tar -zxf cm5.11.0-centos6.tar.gz    #解压软件包cd cm/5/RPMS/x86_64yum localinstall --nogpgcheck *.rpm

4.2修正MySQL

下载mysql-connector-java:https://dev.mysql.com/downloads/connector/j/

cp mysql-connector-java-5.1.42-bin.jar /usr/share/cmf/lib/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hhadoop1 -uroot -ptoor --scm-host hadoop1 scm scm scmcp CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel /opt/cloudera/parcel-repo/cp CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.shacp manifest.json /opt/cloudera/parcel-repo/
service cloudera-scm-agent stop
service cloudera-scm-server stop
service cloudera-scm-server start
service cloudera-scm-agent start
echo 0 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

编缉/etc/profile,追加:

export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.3开始安装

登录http://192.168.220.136:7180/cmf,默认用户名密码:admin/admin

时间: 2024-10-16 20:53:25

CM+CDH安装教程(CentOS)的相关文章

CM+CDH安装遇到的问题

1.实在是在安装CDH的时候无法安装成功的话,只有重新启动了,下面给大家分享一个神器,按照这个脚本应该差不多就能卸载干净,然后重新安装,写一个脚本,内容如下,救命的神器呀: #!/bin/bash sudo /usr/share/cmf/uninstall-cloudera-manager.sh sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop sudo service cloudera-

docker安装教程-centos

Docker 要求CentOS 系统的内核版本在3.10以上,查看本页面的前提条件来验证你的CentOS 版本是否支持Docker . 1.通过uname -r 命令查看你当前的内核版本 uname -r 2.  使用root 权限登录Centos.确保yum 包更新到最新. yum -y update 3.  卸载旧版本(如果安装过旧版本的话) yum remove docker docker-common docker-selinux docker-engine 4.  安装需要的软件包,y

CentOS 7.x 安装教程、硬盘分区、LVM、网络配置、软件源配置、制作USB Disk、U盘安装、网络安装

目录 一.准备安装CentOS 7 1.1CentOS简介 1.1.1介绍CentOS 7 1.1.2官方网站与文档 1.1.3CentOS软件包管理 1.1.4CentOS的正式发音 1.2获得CentOS发行版 1.2.1从镜像站点上下载ISO的镜像文件 1.2.2将ISO镜像文件制作成CD/DVD 1.2.3将ISO镜像文件制作成USB Live 1.3收集硬件信息 1.4硬盘分区方案 1.4.120GB硬盘以及1GB RAM 1.4.280GB硬盘以及1GB RAM 二.安装CentOS

CentOS 7.2 安装教程

1.CentOS 7.2 下载 下载地址: http://www.centoscn.com/CentosSoft/iso/2016/0601/7341.html 下载:CentOS-7-x86_64-DVD-1511.iso 2.CentOS 7.2安装 安装教程: http://blog.sina.com.cn/s/blog_14e8c64ca0102vwoq.html

CentOS 6.4 图文安装教程

1.首先,要有一张CentOS 6.4的安装介质,使用介质启动电脑出现如下界面 界面说明: Install or upgrade an existing system 安装或升级现有的系统 install system with basic video driver 安装过程中采用基本的显卡驱动 Rescue installed system 进入系统修复模式 Boot from local drive   退出安装从硬盘启动 Memory test  内存检测 注:用联想E49安装时选择第一项

CentOS Docker安装教程

目录 CentOS Docker安装教程 先决条件 系统要求 卸载旧版本 YUM安装 安装依赖包 添加仓库源 安装docker 查看docker版本 启动Docker服务 运行hello-world镜像 RPM包安装 RPM包安装 查看docker版本 启动Docker服务 运行hello-world镜像 卸载Docker CE 卸载Docker包 删除镜像.容器.卷.或自定义配置文件 参考资料 CentOS Docker安装教程 先决条件 系统要求 为了安装Docker CE(社区版),你需要

CentOS 7.2安装教程

背景 用公司的台式机进行安装,用于做云安全PAAS的服务器,原本有了Windows系统,先准备换成CentOS系统,利用U盘进行安装. 准备阶段 1.官网下载CentOS,DVD ISO格式. 2.1个空的U盘. 3.安装UltralSO,准备刻录U盘. 开始安装 1.刻录u盘,点击启动->写入硬盘映像,先格式化再写入,具体过程https://www.osyunwei.com/archives/2307.html注意不需要修改u盘刻录的东西了 2.先插入u盘,然后开机,开机时按住F2或者Del进

centos下docker安装教程

目前最新版本的docker19.03支持nvidia显卡与容器的无缝对接,从而摆脱了对nvidia-docker的依赖.因此毫不犹豫安装19.03版本的docker,安装教程可参考官方教程Get Docker Engine - Community for CentOS,安装好之后还要解决一个问题就是如何才能使非root用户拥有docker使用权. 用户其实是通过/var/run/docker.sock与docker容器进行交互,因此要获得docker使用权则必须拥有对/var/run/docke

linux centos安装教程

linux centos安装教程1 CentOS-7-x86_64-DVD-1511.iso 这个是dvd版本 2 CentOS-7-x86_64-Minimal-1511.iso 这个迷你版 是没有图形界面的 安装centos 必须要借助 光盘或者u盘 安装 因为没有exe..不能从硬盘上安装 1 先看看bios支不支持U盘启动 如果不知道哪里看 可以百度下主板型号 然后查找资料 一般不同主板 bios界面不一样 ps:看的时候必须要插入U盘后看 有没有你的U盘型号 作为启动2 如何制作Cen