利用先电云iaas平台搭建apache官方大数据平台（ambari2.7+hdp3.0）

一、ambari架构解析

二、基础环境配置

以两台节点为例来组件Hadoop分布式集群，这里采用的系统版本为Centos7 1511，如下表所示：


主机名
内存
硬盘
IP地址
角色

master
8192MB
100G
192.168.200.6
Ambari-Server

Ambari-Agent

slaver
8192MB
100G
192.168.200.7
Ambari-Agent

搭建所需各软件版本信息

①ambari-2.7.1.0-centos7.tar.gz

②jdk-8u151-linux-x64.tar.gz

③HDP-3.0.1.0-centos7-rpm.tar.gz

④HDP-UTILS-1.1.0.22-centos7.tar

⑤CentOS-7-x86_64-DVD-1511.iso

1.在iaas平台创建两台云主机

  1. 主机名、主机名解析配置

vi /etc/hosts

  1. 挂载镜像并配置本地yum源

首先将所需镜像、安装包等，通过secureFX上传至master 的/opt目录

Master节点

3.1进入/opt目录，解压ambari.tar.gz压缩包

[[email protected] ~]# cd /opt

[[email protected] opt]# ls

ambari-2.7.1.0-centos7.tar.gz  HDP-3.0.1.0-centos7-rpm.tar.gz

centos                         HDP-UTILS-1.1.0.22-centos7.tar

[[email protected] opt]# tar -zxvf ambari-2.7.1.0-centos7.tar.gz

解压完成后获得一个ambari的文件夹

[[email protected] ~]# ls

CentOS-7-x86_64-DVD-1511.iso

[[email protected] ~]# mount -o loop CentOS-7-x86_64-DVD-1511.iso /mnt/

[[email protected] ~]# mkdir /opt/centos

[[email protected] ~]# cp -rvf /mnt/* /opt/centos/

[[email protected] ~]# cd /etc/yum.repos.d/

[[email protected] yum.repos.d]# ls

CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Sources.repo

CentOS-CR.repo    CentOS-fasttrack.repo  CentOS-Vault.repo

[[email protected] yum.repos.d]# rm -rf *

[[email protected] yum.repos.d]# vi local.repo

[centos]

name=centos

baseurl=file:///opt/centos

gpgcheck=0

enable=1

[ambari]

name=ambari

baseurl=file:///opt/ambari/centos7/2.7.1.0-169/

gpgcheck=0

enable=1

保存退出

清理源，并列出源

[[email protected] ~]# yum clean all

Loaded plugins: fastestmirror

Cleaning repos: ambari centos

Cleaning up everything

Cleaning up list of fastest mirrors

[[email protected] ~]# yum list

[[email protected] ~]# yum install vsftpd

[[email protected] ~]# vi /etc/vsftpd/vsftpd.conf

添加

anon_root=/opt/

3.2配置开机启动vsftpd

[[email protected] ~]# systemctl enable vsftpd

[[email protected] ~]# systemctl start vsftpd

Slaver节点

[[email protected] ~]# cd /etc/yum.repos.d/

[[email protected] yum.repos.d]# ls

CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Sources.repo

CentOS-CR.repo    CentOS-fasttrack.repo  CentOS-Vault.repo

[[email protected] yum.repos.d]# rm -rf *

[[email protected] yum.repos.d]# vi ftp.repo

[centos]

name=centos

baseurl=ftp://192.168.200.6/centos

gpgcheck=0

enable=1

[ambari]

name=ambari

baseurl=ftp://192.168.200.6/ambari/centos7/2.7.1.0-169/

gpgcheck=0

enable=1

保存退出

  1. 配置NTP服务

Master节点

[[email protected] ~]# yum -y install ntp

[[email protected] ~]# vi /etc/ntp.conf

4.1将原有server注释

添加

server 127.127.1.0

fudge 127.127.1.0 stratum 10

[[email protected] ~]# systemctl enable ntpd

[[email protected] ~]# systemctl start  ntpd

Slaver节点

[[email protected] ~]# yum -y install ntpdate

[[email protected] ~]# ntpdate master

[[email protected] ~]# systemctl enable ntpdate

  1. 配置SSH 免密访问

Master节点

[[email protected] ~]# yum install openssh-clients

[[email protected] ~]# ssh-keygen

[[email protected] ~]# ssh-copy-id slaver.hadoop

Slaver节点

[[email protected] ~]# yum install openssh-clients

[[email protected] ~]# ssh-keygen

[[email protected] ~]# ssh-copy-id master.hadoop

  1. 禁用Transparent Huge Pages

操作系统后台有一个叫做khugepaged的进程，它会一直扫描所有进程占用的内存，在可能的情况下会把4kpage交换为Huge Pages，在这个过程中，对于操作的内存的各种分配活动都需要各种内存锁，直接影响程序的内存访问性能，并且，这个过程对于应用是透明的，在应用层面不可控制,对于专门为4k page优化的程序来说，可能会造成随机的性能下降现象。

master & slaver

[[email protected] ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[[email protected] ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag

[[email protected] ~]# cat /sys/kernel/mm/transparent_hugepage/enabled

always advise [never]

重启后失效，需要再次执行

  1. 安装配置jdk

Master节点

[[email protected] ~]# mkdir /usr/jdk64/

[[email protected] ~]# tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/jdk64/
[[email protected] ~]# vi /etc/profile

7.1添加以下两条变量

export JAVA_HOME=/usr/jdk64/jdk1.8.0_151

export PATH=$JAVA_HOME/bin:$PATH

[[email protected] ~]# source /etc/profile

[[email protected] ~]# java -version

java version "1.8.0_151"

Java(TM) SE Runtime Environment (build 1.8.0_151-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

Slaver节点

[[email protected] ~]# mkdir /usr/jdk64/

[[email protected] ~]# scp 192.168.200.6://root/jdk-8u151-linux-x64.tar.gz .

jdk-8u151-linux-x64.tar.gz                    100%  181MB  90.5MB/s   00:02

[[email protected] ~]# tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/jdk64/

[[email protected] ~]#  vi /etc/profile

export JAVA_HOME=/usr/jdk64/jdk1.8.0_151

export PATH=$JAVA_HOME/bin:$PATH

[[email protected] ~]# source /etc/profile

[[email protected] ~]# java -version

java version "1.8.0_151"

Java(TM) SE Runtime Environment (build 1.8.0_151-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

  1. 安装httpd服务

8.1安装httpd

[[email protected] ~]# yum -y install httpd

[[email protected] ~]# systemctl enable httpd.service

[[email protected] ~]#  systemctl start httpd.service

[[email protected] ~]#  systemctl status httpd.service

8.2解压HDP

将/opt目录下的

HDP-3.0.1.0-centos7-rpm.tar.gz

HDP-UTILS-1.1.0.22-centos7.tar

解压，并复制到 /var/www/html

[[email protected] opt]# tar -zvxf HDP-3.0.1.0-centos7-rpm.tar.gz -C /var/www/html/

[[email protected] opt]# tar -zvxf HDP-UTILS-1.1.0.22-centos7.tar -C /var/www/html/

三、ambari-server 安装配置

Master节点

[[email protected] ~]# yum -y install  ambari-server

1.安装MariaDB数据库

[[email protected] ~]# yum install  mariadb mariadb-server mysql-connector-java

1.1启动数据库服务

[[email protected] ~]# systemctl enable mariadb

[[email protected] ~]# systemctl start mariadb

1.2配置数据库服务

[[email protected] ~]# mysql_secure_installation

Set root password? [Y/n] y  （设置密码为bigdata）

Remove anonymous users? [Y/n] y

Disallow root login remotely? [Y/n] n

Remove test database and access to it? [Y/n] y

Reload privilege tables now? [Y/n] y

[[email protected] ~]# mysql -uroot -pbigdata

MariaDB [(none)]> create database ambari;

MariaDB [(none)]> grant all privileges on ambari.* to ‘ambari‘@‘localhost‘ identified by ‘bigdata‘;

MariaDB [(none)]> grant all privileges on ambari.* to ‘ambari‘@‘%‘ identified by ‘bigdata‘;

MariaDB [(none)]> use ambari;

MariaDB [ambari]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

MariaDB [ambari]> quit

  1. 配置ambari-server

[[email protected] ~]# vi /etc/profile

添加

export buildNumber=2.7.1.0

[[email protected] ~]# ambari-server setup

Using python  /usr/bin/python

Setup ambari-server

Checking SELinux...

SELinux status is ‘disabled‘

Customize user account for ambari-server daemon [y/n] (n)? n

Adjusting ambari-server permissions and ownership...

Checking firewall status...

Checking JDK...

[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

[2] Custom JDK

==============================================================================

Enter choice (1): 2

WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.

WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.

Path to JAVA_HOME: /usr/jdk64/jdk1.8.0_151

Validating JDK on Ambari Server...done.

Check JDK version for Ambari Server...

JDK version found: 8

Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.

Checking GPL software agreement...

GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html

Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n

Completing setup...

Configuring database...

Enter advanced database configuration [y/n] (n)? y

Configuring database...

==============================================================================

Choose one of the following options:

[1] - PostgreSQL (Embedded)

[2] - Oracle

[3] - MySQL / MariaDB

[4] - PostgreSQL

[5] - Microsoft SQL Server (Tech Preview)

[6] - SQL Anywhere

[7] - BDB

==============================================================================

Enter choice (1): 3

Hostname (localhost):

Port (3306):

Database name (ambari):

Username (ambari):

Enter Database Password (bigdata):

Configuring ambari database...

Should ambari use existing default jdbc /usr/share/java/mysql-connector-java.jar [y/n] (y)?

Configuring remote database connection properties...

WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

Proceed with configuring remote database connection properties [y/n] (y)?

Extracting system views...

ambari-admin-2.7.1.0.169.jar

....

Ambari repo file doesn‘t contain latest json url, skipping repoinfos modification

Adjusting ambari-server permissions and ownership...

Ambari Server ‘setup‘ completed successfully.

[[email protected] ~]# ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

  1. 启动ambari-server服务

[[email protected] ~]# ambari-server start

DB configs consistency check: no errors and warnings were found.

Ambari Server ‘start‘ completed successfully.

四、ambari-agent 安装配置

 

master & slaver

1.安装ambari-agent

[[email protected] ~]# yum -y install ambari-agent

[[email protected] ~]# yum -y install ambari-agent

  1. 修改变量

[[email protected] ~]# vi /etc/ambari-agent/conf/ambari-agent.ini

[[email protected] ~]# vi /etc/ambari-agent/conf/ambari-agent.ini

将[server]项修改为master.hadoop

hostname=master.hadoop

3.重启ambari-agent服务

[[email protected] ~]# ambari-agent restart

[[email protected] ~]# ambari-agent restart

五、部署Hadoop集群

1.访问WEB界面

打开浏览器输入IP:8080访问ambari的web界面

本机为http://192.168.200.6:8080

默认用户名 admin

默认密码   admin

  1. 创建新的集群

3.1命名集群

3.2选择本地仓库源

选择redhat 7

http://192.168.200.6/HDP/centos7/3.0.1.0-187/

http://192.168.200.6/HDP-UTILS/centos7/1.1.0.22/

3.3配置主机名

3.4主机状态注册检查

3.5服务安装选择

这里我们选择了

YARN + MapReduce2

HDFS

ZooKeeper

Ambari Metrics

Spark2

3.6服务分配大师

默认即可。

3.7节点服务选择

设置Grafana密码

默认下一步即可

确认部署

开始部署

原文地址：https://www.cnblogs.com/huangwentao/p/12070932.html

时间： 2024-11-08 05:27:26

利用先电云iaas平台搭建apache官方大数据平台（ambari2.7+hdp3.0）的相关文章

大数据知识点分享：大数据平台应用 17 个知识点汇总

一.大数据中的数据仓库和Mpp数据库如何选型? 在Hadoop平台中,一般大家都把hive当做数据仓库的一种选择,而Mpp数据库的典型代表就是impala,presto.Mpp架构的数据库主要用于即席查询场景,暨对数据查询效率有较高要求的场景,而对数据仓库的查询效率要求无法做大MPP那样,所以更多地适用与离线分析场景. Hadoop已经是大数据平台的实时标准,其中Hadoop生态中有数据仓库Hive,可以作为大数据平台的标准数据仓库, 对于面向应用的MPP数据库,可以选择MYCAT(mySql的

网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。

免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的界面快速的开发,几个开发人员很快的掌握,甚至我们把阿里云的开发端给了业务部门,他们一些稍微资深一点的业务人员也可以使用,所以我们初步估计了一下,给我们节省的价值至少是千万级的."--网鱼网咖CTO楚发 关于网鱼网咖 网鱼网咖成立于1998年,致力于打造多人游戏空间,为顾客提供极致的游戏上网体验.网鱼

禧云数芯大数据平台技术白皮书

白皮书作者:赵兴申 顾问:郑昀 出品方:禧云集团-基础技术中心-大数据与算法部 数据分析组:谭清勇.王明军.徐蕊.曹寿波 平台开发组:刘永飞.李喜延 数据可视化组:陈少明.董建昌 基础架构组:崔明黎.邱志伟.陈赏 第一章:数芯大数据平台 1.1 禧云大数据发展历程 知名咨询公司麦肯锡称:『数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对海量数据的挖掘和运用,预示着新一波生产率增长和消费盈余浪潮的到来.』良好的数据管理和处理技术,已经成为企业不可或缺的竞争优势. 禧云集团(

ambari 搭建hadoop大数据平台系列1-概述

最近要为第三方搭建一套大数据平台,中间先进行了虚拟机版本,测试通过后,进行了物理机版本的生产环境,网上关于ambari 的文章并不多,但好在ambari 官方文档质量略高,社区比较活跃,便整理该系列的文档,将埋掉的坑抛出来,帮助小伙伴们更加快速的搭建自己的hadoop 平台. 分三个部分: 1. 为什么选择ambari 来搭建 说到ambari, 主要的对手cloudrea manager ,大家比较熟悉,至于各自长短,优势劣汰,大家自己斟酌选择啦. Cloudera Manager is di

大数据平台一键安装OS【搭建脚本篇】

定制化大数据平台一键安装OS 大数据平台一键安装OS系列 大数据平台一键安装OS[定制化OS镜像制作] 搭建脚本篇 脚本命名随便,只要能看懂就行 镜像包说明 os1.1.iso 用于安装服务端和客户端操作系统 hdp.iso 用于安装hdp服务 1.架构图: 服务端 客户端 2.原理分析 安装系统-安装本地yum源-安装http源-安装并配置ntp服务-配置秘钥-安装jdk-安装mysql-编译安装ambari平台 3.服务端脚本分析 (1)create_local_yum.sh #安装本地yu

知名大厂如何搭建大数据平台&架构

今天我们来看一下淘宝.美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图.通过大厂的这些架构图,你就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图的画法也有套路可以寻觅. 淘宝大数据平台 淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司,下图是淘宝早期的 Hadoop 大数据平台,比较典型. 淘宝的大数据平台基本也是分成三个部分,上面是数据源与数据同步:中间是云梯 1,也就是淘宝的 Hadoop 大数据集群:下面是大数据的应用

大数据平台规划

背景 1."云大开物",四大热门信息技术 1.1 业务的发展越来越受到技术进步的影响.业务创新离不开技术创新.技术为业务服务? 2.大数据技术栈全景: 分布式编程 分布式文件系统 列数据库(HBase.Cassandra.BigTable) 柱数据库(Greenplum.BigQuery) 键值数据库(Redis.Amazon DynamoDB.Bolt) 文档数据库(MongoDB.RethinkDB) 关系数据库 新SQL数据库(HANA) 时间序列数据库 SQL引擎(Hive.P

大数据平台一键安装OS【定制化OS镜像制作】

 定制化 大数据平台一键安装OS 大数据平台一键安装OS系列 大数据平台一键安装OS[搭建脚本篇] 定制化OS镜像制作 1.操作环境 操作环境:VMware Workstarion 9 and vSphere client 系统:CentOS -6.8-x86_64 工具:gconf-editor anaconda repodata createrepo mkisofs rsync 2.主要思路 定制化是通过kickstart脚本来实现的,linux系统安装完毕后在root目录下会生成anaco

hadoop大数据平台安全基础知识入门

概述 以 Hortonworks Data Platform (HDP) 平台为例 ,hadoop大数据平台的安全机制包括以下两个方面: 身份认证 即核实一个使用者的真实身份,一个使用者来使用大数据引擎平台,这个使用者需要表明自己是谁,即提供自己的身份证明,大数据平台需要检验这个证明,确定这个证明是有效的,且不是伪造的.否则,就拒绝这个使用者进入大数据引擎. 授权管理 这个使用者的真实身份核实之后,需要对这个使用者的使用权限进行界定,即这个使用者在大数据平台中能够使用什么组件,能够获取哪些资源,