CDH5.10.0 离线安装(共3节点)

1.安装方式

CDH的离线部署安装,即Parcel包(推荐)

2.角色规划

三个节点对应的角色:

3.基本环境配置(在每个节点上都要配置)

(1)关闭防火墙

#/etc/init.d/iptables stop

# chkconfig --level 345 iptables off

(2)关闭seliux

# vim /etc/sysconfig/selinux

SELINUX=disabled

(3)ip和主机名对应

#vim /etc/hosts

172.16.101.54    sht-sgmhadoopcm-01

172.16.101.55    sht-sgmhadoopnn-01

172.16.101.56    sht-sgmhadoopnn-02

(4)安装JDK

# tar xf /usr/java/jdk-8u111-linux-x64.tar.gz

# chown -R root:root jdk1.8.0_111

# vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_111/

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export CLASSPATH

export PATH

#source /etc/profile

(5)检查python版本

# python -V

Python 2.7.5

(6)NTP同步

如果你的环境是自己的虚拟机,则需要配置ntp服务,保证每个节点时钟同步;

如果是云环境,则不需要配置。

(7)关闭大页面

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

# cat /etc/rc.local

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

(8)设置swap

# vim /etc/sysctl.conf

vm.swappiness = 0

# sysctl -p

4.CM安装配置(只在cm管理节点上配置)

(1)配置http服务

yum install -y httpd

/etc/init.d/httpd start

浏览器访问:http://172.16.101.54

(2)下载并上传CDH5.10.0的parcel文件:http://archive.cloudera.com/cdh5/parcels/5.10.0/

#注意:需要把CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 改名为 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha

# ll /var/www/html/cdh_parcel

-rwxr-xr-x 1 root root 1501694035 Feb 20 15:17 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel

-rwxr-xr-x 1 root root         41 Feb 20 15:06 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha

-rwxr-xr-x 1 root root      64807 Jan 26  2017 manifest.json

(3)下载并上传CDH5.10.0的RPM压缩包:cm5.10.0-centos6.tar.gz

http://archive.cloudera.com/cm5/repo-as-tarball/5.10.0/

# mkdir -p /var/www/html/cm5/redhat/6/x86_64/

# tar -zxvf cm5.10.0-centos6.tar.gz -C /var/www/html/cm5/redhat/6/x86_64/

# chmod -R 755 /var/www/html/*

浏览器访问:http://172.16.101.54/cdh_parcel/

浏览器访问:http://172.16.101.54/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/

5.配置yum源(在每个节点上都要配置)

# vim /etc/yum.repos.d/cloudera-manager.repo

[cloudera-manager]

name = Cloudera Manager, Version 5.10.0

baseurl = http://172.16.101.54/cm5/redhat/6/x86_64/cm/5/

gpgcheck = 0

6.安装rpm包和安装配置mysql数据库(只在cm节点上操作)

(1)安装CM

#yum clean all

# cd /var/www/html/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/

#yum install -y cloudera-manager-daemons-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm

#yum install -y cloudera-manager-server-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm

(2)配置数据库

# vim /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=172.16.101.54:3306

com.cloudera.cmf.db.name=cmf

com.cloudera.cmf.db.user=cmf

com.cloudera.cmf.db.password=cmf_password

com.cloudera.cmf.db.setupType=EXTERNAL

(3)下载mysql jdbc驱动包

#cd /usr/share/java

#wget http://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.37.zip

#unzip mysql-connector-java-5.1.37.zip

#cd mysql-connector-java-5.1.37

#cp mysql-connector-java-5.1.37-bin.jar ../mysql-connector-java.jar

(4)安装mysql过程省略

#创建库和用户

create database cmf DEFAULT CHARACTER SET utf8;

grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'cmf_password';

create database amon DEFAULT CHARACTER SET utf8;

grant all on  amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';

flush privileges;

(5)启动cm服务,这个过程会耗费一些时间,大约3minutes,在mysql中创建一系列的表,

如果启动失败可以查看/var/log/cloudera-scm-server/的日志

# /etc/init.d/cloudera-scm-server start

7.图形向导安装

浏览器访问:http://172.16.101.54:7180/

用户名和密码都是admin

(1)选择安装的版本: Cloudera Express

(2)数据IP地址搜索:172.16.101.[54-56]

(3)选择安装方式:

a.使用parcel包,更多:

Parcel 目录:/opt/cloudera/parcels

(即CDH的软件的安装目录,每个节点都会自动创建,安装完成后,大约3.5G)

本地parcel仓库目录:/opt/cloudera/parcel-repo

远程 Parcel 存储库 URL:http://172.16.101.54/cdh_parcel/

(即parcel包存放的http目录)

b.选择您要安装在主机上的 Cloudera Manager Agent 特定发行版:(注意这里的http不要写成https,否则后面会报错)

自定义存储库: http://172.16.101.54/cm5/redhat/6/x86_64/cm/5/

(4)JDK安装选项--不勾

(5)启用当用户模式--不勾

(6)使用root用户或者不用密码就能sudo到root的用户

这里使用LDAP用户需要提前在每个节点上配置一下:

# visudo

xxxuser ALL=(ALL)      NOPASSWD:ALL

(7)集群安装

大概需要20minutes

这一步主要是在各个节点上安装cloudera-scm-agent,cloudera-manager-daemons,并启动agent.

(8)集群设置

选择安装的服务组合:自定义服务HDFS,YARN,Zookeeper

(9)自定义角色分配,和“2.角色规划”相同

(10)数据库设置

数据库主机名称:172.16.101.54:3306

数据库类型:MySQL

库:amon

用户:amon

密码:amon_password

测试连接成功,next

(11)审核更改:(无需修改,全部默认即可)

HDFS 块大小 128

接受的 DataNode 失败的卷:0

DataNode 数据目录 /dfs/dn

NameNode 数据目录 /dfs/nn

HDFS 检查点目录 /dfs/snn

Host Monitor 存储目录 /var/lib/cloudera-host-monitor

Service Monitor 存储目录 /var/lib/cloudera-service-monitor

NodeManager 本地目录 /yarn/nm

数据目录 /var/lib/zookeeper

事务日志目录 /var/lib/zookeeper

(12)安装完成

原文地址:http://blog.51cto.com/darrenmemos/2086251

时间: 2024-11-04 23:13:30

CDH5.10.0 离线安装(共3节点)的相关文章

cdh-5.10.0搭建安装

1.修改主机名为master, slave1, slave2 vim /etc/sysconfig/network HOSTNAME = master HOSTNAME = slave1 HOSTNAME = slave2 2.修改hosts文件(三个节点都要设置) vim /etc/hosts 192.168.1.7 master 192.168.1.8 slave1 192.168.1.9 slave2 3.IP设置(三个节点都要设置) DEVICE=eth0 HWADDR=4C:CC:6A

centos7+cdh5.10.0搭建

一.选择环境: 1.说明 本次部署使用台机器,3台用于搭建CDH集群,1台为内部源.内部源机器是可以连接公网的,可以提前部署好内部源,本次部署涉及到的服务器的hosts配置如下: 192.168.10.114    sp-04 192.168.10.115    sp-05 192.168.10.116    sp-06 本次安装为cdh5.10.0 需要centos版本: Jdk版本:jdk-8u73-linux-x64.tar 参考地址:https://www.cloudera.com/do

CDH5.12.0 中扩容增加计算节点

CDH5.12.0 中扩容增加计算节点 标签(空格分隔): 大数据平台构建 一: 环境准备 二: 增加节点环境系统初始化 三: 增加节点关于CDH5.12.0环境配置 四: 在CM 上面节点增加 一:环境的概述与准备 概述: 很多时候,企业的大数据环境(CDH5.12.0),根据使用的时间越来越长,空间会有不足的情况,集群的计算 能力也因此下降, 此时需要对将大数据的 集群环境进行扩容 增加计算节点. 1.1 系统逻辑部署图 1.2 安装文件详细信息列表: CM: cloudera-manage

kafka常用命令(cdh5.10.0+kafka)

参考资料:http://kafka.apache.org/quickstart 进入kafka安装目录(CDH安装路径为:/opt/cloudera/parcels/KAFKA):进入bin目录: cd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/bin 创建topic,一个备份,6个分区 kafka-topics --create --zookeeper personas1:2181 --replication-factor 1 --p

Zend Studio 10.0.1安装及破解

1.安装,和普通的安装程序一样,没有什么技术含量! 2.主要是破解,需要在网上下载一个软件:"com.zend.php.core_10.1.0.201306250232.jar"的jar包,然后复制到plugins目录下即可成功破解: 3.然后再重新打开软件输入序列号,下面有四个序列号,输入任意一个即可: 3C086E8D6F2F483968B33586BDAAAA959B7E12290129D9BAD3308A2C5A03C3D34AFF2C483CFE5C059E70A5180CF

分享ArcGIS Server 10.0修复安装心得

最近,捣腾了一阵子在xp系统上安装ArcGIS Server10.0(下方均简称server),解决了一些初学者可能面临的problem,给大家贴出来, 希望能够给初学者一些有益的帮助. 我的系统环境: XP系统 已安装了VS2010(安装过了.net framework 4.0) 安装好了arcgis desktop 和engine以及AO sdk 同时,也安装了arcgis server 10.0(未正确安装,表现特征有:arcgis server菜单中没有arcgis server man

CDH5.7快速离线安装教程

一.简介 CDH是cloudera公司开发的一个快速部署.高效管理Hadoop和其各种组件的一个商业化产品.主要分为两部分,分别为Cloudera Manager和CDH软件包.其中Cloudera Manager负责集群的部署与管理.CDH软件包囊括了hdaoop各类的组件的安装包,例如hive.hdfs.spark等等. 由于实验室服务器集群实现了硬件虚拟化,要在虚拟资源重新搭建CDH集群.cloudera的搭建官方提供了三种安装方式.分别是在线安装.yum安装和离线安装,我首先是采用离线安

CDH-5.7.1离线安装

参考自:http://blog.csdn.net/jdplus/article/details/45920733 1.文件下载 CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中

Mirantis OpenStack Fuel8.0离线安装(MOS8.0本地源)

转载请注明:姬子的博客 目前mos已经更新到了8.0,集成了openstack的L版.搭载迄今为止最成熟的M版的9.0也是指日可待了. openstack愈趋成熟,我们愈是按耐不住内心的狂热.于是乎小伙伴们纷纷爆发了自己的小宇宙跳进MOS8.0的坑,被坑得"不亦乐乎". 确实,MOS8.0很难轻松的装成功.网络这块大山,一直压着我们寸步难行. 为了减少后来过路人的压力,我们做好了本地源,离线安装MOS8.0! 恩,下面就动手了. 前期准备 MOS8.0本地源下载:https://329