大数据之搭建HDP环境,以三个节点为例

(一)实验环境
l 实验介质
?CentOS-7-x86_64-Everything-1708.iso
?jdk-8u144-linux-x64.tar.gz
?ambari-2.6.0.0-centos7.tar.gz
?HDP-2.6.3.0-centos7-rpm.tar.gz
?HDP-UTILS-1.1.0.21-centos7.tar.gz

l 准备三台CentOS虚拟机,三个节点:一个Cloudera Manager节点、两个Agent节点
安装如下:
n HDP21:Server GUI、Development Tools、MariaDB
n HDP22、HDP23:Server GUI、Development Tools

二)安装配置CentOS(每台机器)
注意把下面的两个选项选上
l Server With GUI
l Development Tools
l MariaDB Server(就是MySQL数据库):注意只在hdp21上安装

l 关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service

l 配置主机名:编辑/etc/hosts文件
l 配置免密码登录
l 配置ntp服务
? 创建目录:mkdir /root/cdroom/
? 挂载光盘:mount /dev/cdrom /root/cdroom/
? 删除原来的所有repo文件
? 创建yum的源文件: vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
? 开启NTP服务
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd

?安装Apache Http服务(只需要在hdp21上安装)
yum install httpd

?启动Apache Http服务
systemctl start httpd.service
systemctl enable httpd.service

?验证Http服务,使用浏览器访问如下网页:
192.168.164.21

(三)安装JDK(每台机器)
一定注意,这一步跟之前不一样!!!
l 卸载系统原有的Java环境
第一步:使用下面的命令查看当前所有的Java环境的安装包
rpm -qa | grep java
第二步:使用下面的命令删除所有的Java安装包
rpm -e --nodeps 包名

l 安装新的JDK环境
? 将jdk-8u161-linux-x64.rpm上传到/root/toolsm目录
? 安装JDK:rpm -ivh jdk-8u161-linux-x64.rpm
? 执行下面的命令,设置环境变量:
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

l 验证JDK环境
!
(四)配置MariaDB(在HDP21上)
l 启动MariaDB
systemctl start mariadb
systemctl enable mariadb (开机自启动)

l 配置MariaDB
mysql_secure_installation
#首先是设置密码,会提示先输入密码
Enter current password for root (enter for none):<–初次运行直接回车
#设置密码
Set root password? [Y/n] <–是否设置root用户密码,输入y并回车或直接回车
New password: <– 设置root用户的密码
Re-enter new password: <– 再输入一次你设置的密码
#其他配置
Remove anonymous users? [Y/n] <– 是否删除匿名用户,回车
Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,
Remove test database and access to it? [Y/n] <– 是否删除test数据库,回车
Reload privilege tables now? [Y/n] <– 是否重新加载权限表,回车

l 初始化MariaDB
登录数据库:mysql -uroot -pWelcome_1
(1)安装完成后创建ambari数据库及用户:
create database ambari;
CREATE USER ‘ambari‘@‘%‘IDENTIFIED BY ‘Welcome_1‘;
GRANT ALL PRIVILEGES ON . TO ‘ambari‘@‘%‘;
FLUSH PRIVILEGES;

(2)如果要安装Hive,再创建Hive数据库和用户 再执行下面的语句:
create database hive;
CREATE USER ‘hive‘@‘%‘IDENTIFIED BY ‘Welcome_1‘;
GRANT ALL PRIVILEGES ON . TO ‘hive‘@‘%‘;
FLUSH PRIVILEGES;

(3)如果要安装Oozie,再创建Oozie数据库和用户 再执行下面的语句:
create database oozie;
CREATE USER ‘oozie‘@‘%‘IDENTIFIED BY ‘Welcome_1‘;
GRANT ALL PRIVILEGES ON . TO ‘oozie‘@‘%‘;
FLUSH PRIVILEGES;

l 安装数据库驱动
yum install mysql-connector-java
安装路径:/usr/share/java/mysql-connector-java.jar
(五)安装配置Clouder Manager(在cdh71上)
五)配置Ambari本地源(在hdp21上)
?一定注意:解压后,需要删除目录下所有的html文件。
?在httpd网站根目录,默认是即/var/www/html/,创建目录ambari
mkdir /var/www/html/ambari

?将ambari-2.6.0.0-centos7.tar.gz和HDP-2.6.3.0-centos7-rpm.tar.gz解压到该目录
tar -zxvf ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/ambari
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari

?将HDP-UTILS-1.1.0.21-centos7.tar.gz解压到/var/www/html/ambari/HDP-UTILS/
mkdir /var/www/html/ambari/HDP-UTILS/
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/HDP-UTILS/

?配置ambari、HDP、HDP-UTILS的本地源
?修改ambari.repo文件
#VERSION_NUMBER=2.6.0.0-267
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=http://192.168.56.71/ambari/ambari/centos7/2.6.0.0-267
gpgcheck=1
gpgkey=http://192.168.56.71/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

?修改hdp.repo文件
#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.164.21/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.164.21/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

?将ambari.repo和hdp.repo拷贝到/etc/yum.repos.d/目录下

((六)安装Ambari
?安装Ambari Server:yum install ambari-server
?配置Ambari Server:ambari-server setup

?将Ambari数据库脚本导入到数据库
mysql -uambari -pWelcome_1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

?启动Ambari Server
ambari-server start
访问Ambari Server的Web Console:http://192.168.164.21:8080/#/login

                            用户名密码:admin/admin

                                                            (未完待续)

原文地址:http://blog.51cto.com/6989066/2173573

时间: 2024-10-14 21:50:17

大数据之搭建HDP环境,以三个节点为例的相关文章

搭建大数据hadoop完全分布式环境遇到的坑

搭建大数据hadoop完全分布式环境,遇到很多问题,这里记录一部分,以备以后查看. 1.在安装配置完hadoop以后,需要格式化namenode,输入指令:hadoop namenode -format,报错误信息:hadoop: command not found 本文网址:https://www.cnblogs.com/SH170706/p/10312667.html 2. 原文地址:https://www.cnblogs.com/SH170706/p/10312678.html

胖子哥的大数据之路(12)-三张图告诉你大数据安全方案设计

一.引言: 最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧.项目沟通中过程客户反复在强调,大数据的安全性,言下之意,用了大数据,就不安全了,就有漏洞了.所以花了些时间,针对大数据的安全设计做了一个总结,算是阶段性的成果吧,分享给大家. 二.安全架构 大数据安全架构主要从六个方面考虑,包括物理安全.系统安全.网络安全.应用安全.数据安全和管理安全六个维度.物理安全强调物理硬件的国产化,避免类似美国轰炸伊拉克悲剧的重演,这也算是一个国家战略的产物,虽未正式

《OD大数据实战》hive环境搭建

一.搭建hadoop环境 <OD大数据实战>hadoop伪分布式环境搭建 二.hive环境搭建 1. 准备安装文件 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 修改配置 cd /opt/modules/cdh/hive-0.13.1-cdh5.3.6/con

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间. Hadoop主要包含三个模块: HDFS模块:HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单

大数据入门——搭建Hadoop处理环境

由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍. VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要注意的是需要修改每个虚拟机的IP与主机名. 所有虚拟机采用NAT模式上网,而且要保证与物理主机的IP互相能访问. 需要注意的几个问题.nat如果上网首先需要查看物理机(pc机)这个服务器已经启动.上网

我搭建大数据Hadoop完全分布式环境遇到的坑---hadoop: command not found

搭建大数据hadoop环境,遇到很多问题,这里记录一部分,以备以后查看. [遇到问题].在安装配置完hadoop以后,需要格式化namenode,输入指令:hadoop namenode -format,报错误信息:hadoop: command not found 网上查阅资料,建议检查hadoop的环境变量是否配置,经检查,已经配置.建议到实际路径下执行此命令,切换到/opt/hadoop/bin这个目录下,仍然 报这个错误信息. 再查资料,看到别人设置主节点免密登陆到主节点.我已在这三台机

Hadoop集群大数据平台搭建

Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式:单机模式.伪分布模式.完全分布模式,只要掌握了完全分布模式,也就是集群模式的搭建,剩下的两种模式自然而然就会用了,一般前两种模式一般用在开发或测试环境下,Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式. 硬件选择 须知: 分布式环境中一个服务器就是一个节点 节点越多带来的是集群性能的提升 一个Hadoop集群环境中,NameNode,SecondaryNameNode和DataNo

Cloudera Manager大数据平台搭建

在企业里快速搭建大数据平台除了Ambria外还可以用Cloudera Manager,这两种工具相对于纯手工搭建确实便捷很多,但是有利也有弊,相对于新手来说就不便于掌握内部原理,不好排错等,而纯手工搭建,出错较多,不容易成功. 一. 规划:192.168.3.201 server/agent mysql 192.168.3.202 agent namenode 192.168.3.203 agent namenode(备) resourcemanager192.168.3.204 agent r

(赵强老师原创)搭建CDH实验环境,三个节点的安装配置

赵强老师简介 ------------------------------------------------------- 清华大学软件工程专业毕业.现就职于Oracle(中国)有限公司高级技术顾问,在Oracle公司服务已超过10年.业界知名的Oracle数据库专家和大数据专家,精通Oracle数据库.大数据.Weblogic中间件和Java技术.同时,受聘于多家知名IT培训机构,线下培训的学员已超过万人. 赵强老师在线视频课程主页 http://edu.51cto.com/lecturer