Ambari安装指南

一、准备工作

l 基本工具

1) 安装epel,epel是一个提供高质量软件包的项目。先检查主机上是否安装:

rpm -q epel-release

2) 如果没有安装,使用rpm命令安装:

rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

(也可手动下载安装包安装)

3) 成功后查看其所依附的软件包:

rpm -qR epel-release

4) 导入key:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6

5) 安装yum-priority:

yum install yum-priorities

6) 在主机仓库目录中可以查到epel.repo,命令:

① 

cd /etc/yum.repos.d

② 

ls | grep epel

7) 安装pdsh:

yum install pdsh

l 配置/etc/hosts和/etc/sysconfig/network

以Ambari节点下修改hosts文件为例说明:(本机192.168.1.162/hadoop03)

l 设置ssh免密码登录

略…

l 关闭SELinux、防火墙、packagekit

1) 关闭SELinux

① 暂时关闭:

setenforce 0

② 永久关闭:

vi /etc/selinux/config

,将其中的SELinux设置:SELINUX=disabled

2) 关闭防火墙 :

chkconfig iptables off

3) 关闭packagekit:

vi /etc/yum/pluginconf.d/refresh-packagekit.conf

,将enabled设为0

二、安装

l 下载Ambari仓库

1) 进入yum.repos.d仓库目录:

cd /etc/yum.repos.d

2) 下载Ambari仓库的资源清单文件:

wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.6.1/ambari.repo

l 安装epel repository

1) 安装epel:

yum install epel-release

2) 查看是否配置成功,命令:

yum repolist

,若成功,则应显示如下:

l 用yum安装Ambari,同时也会安装PostgreSQL.

安装命令:

yum install ambari-server

l 配置ambari-server

执行命令:

ambari-server setup

,如果还没有关闭SELinux,执行这个命令的过程中会提示,选择y。然后会配置PostgreSQL,选择y自动下载安装jdk。之后配置数据库,选n使用默认数据库用户名ambari-server和密码bigdata,选y自己创建用户名密码。

三、启动

l 启动Ambari

1) 执行命令:

ambari-server start

启动服务,出现如下页面表示启动成功:

注意:如果是用普通用户例如hadoop安装ambari,并且数据库是mysql,启动时会报错,解决方案:

① 在mysql中建立用户

grant all privileges on *.* to ‘admin‘@‘hadoop05‘ identified by ‘admin’

;

创建ambari数据库。

② 用admin用户登录mysql,

use ambari

;然后

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

,

导入ambari的sql脚本。

2) 在浏览器中输入“主机IP:8080”进入登陆界面,默认用户名密码为admin/admin。

这里要注意,前提是必须安装好httpd,并且启动httpd服务:

① 查看是否安装:

rpm -qa | grep httpd

,如果没有,安装命令:

yum install httpd

② 修改配置文件:

vi /etc/httpd/conf/httpd.conf

,如下:

③ 重启主机:

shutdown -r now

,等启动完成后,启动httpd服务:

servie httpd start

3) Ambari的相关配置命令

① 修改端口号:

vi /etc/ambari-server/conf/ambari.properties

,在文件中增加client.api.port=<port_number>,本机port_number修改为8888。

② 查看Ambari进程:

ps -ef | grep ambari

③ 停止Ambari进程:

ambari-server stop

④ 重启Ambari进程:

ambari-server restart

四、磁盘扩容

问题引入:后续进行MR Job执行时,会报类似“磁盘空间不够”的错误,原因是Ambari安装所在目录的磁盘容量不够导致。

解决方案:由于Ambari安装后,会创建一个LVM的逻辑卷,供Hadoop运行产生的临时文件存储用,如下:

所以,我们只需要对vg_hadoop01进行扩容。操作如下:

1) 1表示第一块分区的信息,该分区已经被Hadoop占满;2表示第二块分区的信息,也就是我们需要将它扩容到vg_hadoop01上的分区。如下:

2) 现将/dev/sdb5分区块(注意这里Id必须是8e,System必须是Linux LVM)分配给vg_hadoop01.

① 8e和Linux LVM的设置命令:

fdisk /dev/sdb

,接着按m,根据提示设置。

② 输入命令:partprobe,让分区表生效。

③ 由于LVM所在的文件类型是ext4,所以新的分区必须格式化为ext4.

格式化命令:

mkfs –t ext4 /dev/sdb5

.

④ 创建PV(物理卷),命令:

pvcreate /dev/sdb5

,利用:pvdisplay查看:

⑤ 扩容LVM,命令:

vgextend vg_hadoop01 /dev/sdb5

,利用:vgdisplay查看:

⑥ 将LVM中的容量扩展到LV(逻辑卷),命令:

lvextend –L 100G /dev/vg_hadoop01/lv_root

,将分区/dev/vg_hadoop01/lv_root的容量扩充到100G.利用lvdisplay查看:

3) 执行该重设大小,对于当前正在使用的/dev/vg_hadoop01/lv_root有效.命令:

resize2fs /dev/vg_hadoop01/lv_root

,查看扩容后的挂载情况:df -lhT.

时间: 2024-10-12 13:25:38

Ambari安装指南的相关文章

Ambari之 Hadoop 部署神器

http://ambari.apache.org/ 官网 https://cwiki.apache.org/confluence/display/AMBARI/Ambari wiki https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=30755705 RoadMap https://cwiki.apache.org/confluence/display/AMBARI/Quick+Start+Guide Quick S

【原创】大数据基础之Ambari(1)简介、安装、使用

官方:http://ambari.apache.org/ The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management

Spark1.0.0伪分布安装指南

?一.下载须知 软件准备: spark-1.0.0-bin-hadoop1.tgz   下载地址:spark1.0.0 scala-2.10.4.tgz    下载下载:Scala 2.10.4 hadoop-1.2.1-bin.tar.gz   下载地址:hadoop-1.2.1-bin.tar.gz jdk-7u60-linux-i586.tar.gz  下载地址:去官网下载就行,这个1.7.x都行 二.安装步骤 hadoop-1.2.1安装步骤,请看: http://my.oschina.

httpfs安装指南

安装环境 Linux maven3 jdk1.6 本地的maven源(有些依赖的jar包Cloudera已不再维护) 1.下载httfs源码包 https://github.com/cloudera/httpfs 使用git下载 git clone https://github.com/cloudera/httpfs.git 2.修改pom.xml文件 在<dependencies>中增加依赖 <dependency> <groupId>org.apache.hadoo

ambari rest api (修改集群配置文件)

1.找到你需要修改的配置的最新版本 curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://AMBARI_SERVER_HOST:8080/api/v1/clusters/CLUSTER_NAME?fields=Clusters/desired_configs Sample OUTPUT { "href" : "http://AMBARI_SERVER_HOST:8080/api/v1/c

ambari 搭建hadoop大数据平台系列4-配置ambari-server

ambari 搭建hadoop大数据平台系列4-配置ambari-server,分为三部分: 官网:  https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html 安装ambari-server  配置ambari-server  命令;ambari-server setup 启动ambari-server 命令

Ambari窥探分布式心跳机制

Ambari是在Hadoop大数据生态圈的基础上应运而生,Ambari的架构也借助了分布式的思想,细细品味,与Hadoop分布式架构有很多相似之处. Hadoop中单NN 与多DN的通信是借助netty封装的RPC机制实现,单Ambari server与多Agent通信则是基于restful api + json实现,rpc与rest api的争论不是本文要讨论的重点,我们追求的目标只有一个,完美实现业务需求. 心跳设计一个主要的原因是判断客户端是否在线,每隔一段时间会发送数据交互.Ambari

MyCAT安装指南

MyCAT安装指南 MyCAT 1.2版本 快速上手-安装指南(安装单机) Mycat的server和mysql位于同一台服务器,centos6.2.4环境 Mycat:10.191.116.175 Mysql:10.191.116.175 是用Java开发,需要有JAVA运行环境,mycat依赖jdk1.7的环境,若本机没有,则需要下载安装: http://www.java.com/zh_CN/ 获取MyCAT的最新开源版本,项目主页http://code.google.com/p/MyCAT

Ambari安装

Ambari是Apache的一个开源项目,专门用来安装和管理hadoop环境,并提供GUI的WEB页面. 安装过程非常简单,只有几步. 以在CentOS6上操作为例 1.下载repo信息 cd /etc/yum.repos.d/ wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo 2.安装 yum install ambari-server 3.本地配置 ambari-ser