(赵强老师原创)搭建CDH实验环境,三个节点的安装配置

赵强老师简介

-------------------------------------------------------

清华大学软件工程专业毕业。现就职于Oracle(中国)有限公司高级技术顾问,在Oracle公司服务已超过10年。业界知名的Oracle数据库专家和大数据专家,精通Oracle数据库、大数据、Weblogic中间件和Java技术。同时,受聘于多家知名IT培训机构,线下培训的学员已超过万人。

赵强老师在线视频课程主页

http://edu.51cto.com/lecturer/2788082.html

------------------------------------------------------

(一)实验环境

l 实验介质

n CentOS-7-x86_64-Everything-1708.iso

n jdk-8u161-linux-x64.rpm

n cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

n CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

n CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1

n manifest.json

l 准备三台CentOS虚拟机,三个节点:一个Cloudera Manager节点、两个Agent节点

安装如下:

n CDH71:Server GUI、Development Tools、MariaDB

n CDH72、CDH73:Server GUI、Development Tools

(二)安装配置CentOS(每台机器)

注意把下面的两个选项选上

l Server With GUI

l Development Tools

l MariaDB Server(就是MySQL数据库):注意只在cdh71上安装

l 关闭防火墙

systemctl stop firewalld.service

systemctl disable firewalld.service

l 配置主机名:编辑/etc/hosts文件

l 配置免密码登录

l 配置ntp服务

? 创建目录:mkdir /root/cdroom/

? 挂载光盘:mount /dev/cdrom /root/cdroom/

? 删除原来的所有repo文件

? 创建yum的源文件: vi /etc/yum.repos.d/my.repo

[centos-yum]

baseurl=file:///root/cdroom

enabled=1

gpgcheck=0

? 开启NTP服务

yum install ntp

systemctl is-enabled ntpd

systemctl enable ntpd

systemctl start ntpd

l yum -y install psmisc   ---> 安装pstree命令

(三)安装JDK(每台机器)

一定注意,这一步跟之前不一样!!!

卸载系统原有的Java环境

第一步:使用下面的命令查看当前所有的Java环境的安装包

rpm -qa | grep java

第二步:使用下面的命令删除所有的Java安装包

rpm -e --nodeps 包名

安装新的JDK环境

? 将jdk-8u161-linux-x64.rpm上传到/opt目录

? 安装JDK:rpm -ivh jdk-8u161-linux-x64.rpm

? 执行下面的命令,设置环境变量:

echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

验证JDK环境

(四)配置MariaDB(在cdh71上)

启动MariaDB

systemctl start mariadb

systemctl enable mariadb (开机自启动)

配置MariaDB

mysql_secure_installation

#首先是设置密码,会提示先输入密码

Enter current password for root (enter for none):<–初次运行直接回车

#设置密码

Set root password? [Y/n] <–是否设置root用户密码,输入y并回车或直接回车

New password: <– 设置root用户的密码

Re-enter new password: <– 再输入一次你设置的密码

#其他配置

Remove anonymous users? [Y/n] <– 是否删除匿名用户,回车

Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,

Remove test database and access to it? [Y/n] <– 是否删除test数据库,回车

Reload privilege tables now? [Y/n] <– 是否重新加载权限表,回车

初始化MariaDB

登录数据库:mysql -uroot -pWelcome_1

create database hive;

create database amon;  ---> 这个是CDH的activity monitor

create database oozie;

create database hue;

安装数据库驱动

yum install mysql-connector-java

(五)安装配置Clouder Manager(在cdh71上)

cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz上传至/opt目录,并解压

tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

将mysql的驱动放到/opt/cm-5.12.1/share/cmf/lib/中

cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib/

初始化Cloudera Manager的数据库元信息

/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pWelcome_1 --scm-host localhost scm scm scm

创建cloudera-scm用户

useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

将以下文件上传至/opt/cloudera/parcel-repo/目录

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1

manifest.json

重命名文件CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1

改名为:CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha (注意:少了一个1

修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

(六)配置Cloudera  Agent(cdh72和cdh73)

从主节点cdh71上将Cloudera Manager Agent复制到agent节点(cdh72和cdh73)上

scp -r /opt/cm-5.12.1 [email protected]:/opt/

scp -r /opt/cm-5.12.1 [email protected]:/opt/

在agent节点(cdh72和cdh73)上创建cloudera-scm用户

useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

(七)部署CDH5

在cdh71启动服务Cloudera Manager Server

/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

在cdh72和cdh73上启动的agent

/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

访问cdh71上的Cloudera Manager:

端口:7180(http://192.168.247.71:7180/cmf/login)

用户名密码:admin/admin

接受用户条款

选择60天试用版

点击“继续”

为CDH群集安装指定主机(选择cdh72和cdh73)

选择存储库(注意:要删除默认的远程库。如果之前没有做这一步,会有错误。需要重新安装

将存储库部署到主机

检查主机正确性

        在cdh72和cdh73上,执行下面的语句,并“重新运行”

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

选择您要在群集上安装的 CDH 5 服务。(以HDFS为例)

步骤省略......(因为这一步很简单)

注意:需要在cdh71上创建report数据库,如下:

create database report;

create user 'reportmanager'@'%' identified by 'Welcome_1';

grant all on report.* TO 'reportmanager'@'%';

grant all on report.* TO 'reportmanager'@'localhost' identified by 'Welcome_1';

部署成功

Cloudera Manager首页

检查每台机器上的Java后台进程

原文地址:http://blog.51cto.com/collen7788/2115785

时间: 2024-11-05 14:59:13

(赵强老师原创)搭建CDH实验环境,三个节点的安装配置的相关文章

搭建CDH实验环境,以三个节点为例的安装配置

(一)实验环境l 实验介质n CentOS-7-x86_64-Everything-1708.ison jdk-8u161-linux-x64.rpmn cloudera-manager-centos7-cm5.12.1_x86_64.tar.gzn CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parceln CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1n manifest.json l 准备三台CentOS虚拟机,三个节点:一个Cl

赵强老师:免费实战微课系列课程

赵强老师实战微课系列课程 Oracle数据库.大数据.Weblogic中间件 永久免费!!! (*)赵强老师实战微课之一:在Oracle SQL*PLUS中修改SQL语句 http://edu.51cto.com/course/course_id-9016.html (*)赵强老师实战微课之二:搭建Hadoop的Eclipse开发环境 http://edu.51cto.com/course/course_id-9017.html (*)赵强老师实战微课之三:使用Weblogic Console生

Hadoop大数据赵强老师免费公开课招募啦~~~~

Hadoop大数据公开课招募啦~~~ 赵强老师免费公开课 l  时间:2017年03月14号晚19:30-21:00 n  19:30-20:30讲述Hadoop的背景知识,包括:大数据背景.数据仓库.Hadoop的思想来源(Google的三大思想) n  20:30-21:00答疑 l  讲师简介 13年IT行业从业经历,清华大学计算机硕士,曾在BEA.甲骨文.摩托罗拉等世界500强公司担任高级软件架构师或咨询顾问等要职,精通大数据.数据库.中间件技术和Java技术. 讲师详情链接:http:

如何利用PC机搭建综合实验环境之Vmware workstation篇

无论学习windows还是linux,还是学习这些系统上的应用,我们都需要一台甚至多台服务器.但一台服务器动辄上万元,做为正在学习的学生或个人根本无力购买.况且一些实验不止需要一台,还需要多台服务器.再加上供电等因素,个人买服务器来做实验真的是不可能的事情.但不通过实验的话又很难将知识串联起来,实践是检验真理的唯一标准.因此,今天我们来讲如何通过一台PC模拟多台服务器.PC,并且模拟交换机.路由器.防火墙.AAA服务器,最后将交换机,路由器.防火墙.服务器连接起来,搭建成一个综合的实验环境,完成

Oracle中的游标(光标)--来自Oracle赵强老师

 表.select语句.游标:返回结果都能是一个集合. 注意:游标的结果是一个集合. --查询并打印员工的姓名和薪水 set serveroutput on /* 光标: 1. 光标的属性: %isopen %rowcount(返回的行数) %notfound %found 2. 默认情况下,一次性打开300个光标 SQL> show parameter cursor NAME TYPE VALUE ------------------------------------ ---------

【赵强老师】Docker Swarm集群的数据持久化

如果Docker Swarm集群中运行了mysql.nginx等服务,这些服务的数据如果没有挂载到宿主机中,那么容器一旦停止运行,那就意味着数据丢失. 有什么方法可以解决swarm集群中运行的服务能够数据持久化呢?我们可以通过volme.nfs等方法来实现swarm集群应用数据持久化,其实也和docker数据持久化的形式是一样的. 可以用两种方式来实现: volume 默认模式:工作节点宿主机数据同步到容器内. volume NFS 共享存储模式:管理节点宿主同步到工作节点宿主,工作节点宿主同步

搭建 OpenStack 实验环境 - 每天5分钟玩转 OpenStack(16)

在学习 OpenStack 各服务之前,让我们先搭建起一个实验环境. 毋庸置疑,一个看得到摸得着而且允许我们随便折腾的 OpenStack 能够提高我们的学习效率. 因为是我们自己学习用的实验环境,CloudMan 推荐使用 DevStackhttp://docs.openstack.org/developer/devstack/DevStack 丰富的选项让我们能够灵活地选取和部署想要的 OpenStack 服务,非常适合学习和研究. 部署拓扑 首先我们来设计 OpenStack 的部署拓扑.

使用vagrant快速搭建linux实验环境

简介 本文主要介绍如何使用vagrant配合virtualbox快速搭建实验环境.virtualbox是一个开源跨平台虚拟机管理软件,功能类似收费的vmwarevagrant是一个开源的虚拟机配置编排软件,可以在命令行快速启动管理虚拟机. 相关资源的百度云下载链接链接:https://pan.baidu.com/s/1nt_b96SEOIIWl2gIrabPpg 密码:6c3d 安装 1.安装virtualbox 官方下载virtualbox对应平台的软件包安装 2.安装vagrant 官方下载

第 2 章 OpenStack 架构 - 016 - 搭建 OpenStack 实验环境

先搭建起一个实验环境. 推荐使用 DevStackhttp://docs.openstack.org/developer/devstack/ DevStack 丰富的选项让我们能够灵活地选取和部署想要的 OpenStack 服务,非常适合学习和研究. 部署拓扑 首先设计 OpenStack 的部署拓扑. OpenStack 是一个分布式系统,由若干不同功能的节点(Node)组成: 控制节点(Controller Node) 管理 OpenStack,其上运行的服务有 Keystone.Glanc