Ambari和大数据集群部署(精华)

(个人经历,如有问题请于评论区提出宝贵意见)

踩了无数的坑,终于将ambari和大数据集群部署成功了,请一定要按照步骤仔细操作,避免出现问题。

英文官方文档链接:https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/bk_ambari-installation.pdf

基础环境
操作系统:ubuntu16
HDP: 2.6.2.14
Hdp-utils:1.1.0.21
Ambari:2.5.2.0
Jdk:1.8.0_171
Maven:apache-maven-3.5.2
Tomcat:apache-tomcat-8.5.24

重要的配置阶段:
开启root ssh登录:
sudo passwd root 设置密码
sudo apt-get install ssh
apt-get install vim
vi /etc/ssh/sshd_config
将PermitRootLogin without-password注释掉
添加 PermitRootLogin yes
sudo service ssh restart

配置主机名和域名映射
vim /etc/hostname
修改主机名为master.hd
在各个从机中也这样操作,修改主机名为 slave1.hd slave.hd 。。。(注意后缀要相同)
Ifconfig复制本地ip
Vim /etc/hosts
不要删除任何内容,添加本地ip 和对应主机名,同时也要添加集群中其他机器的ip和主机名
从机中操作亦如此

Ssh免密登录
sudo ssh-keygen
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
ssh-copy-id [email protected]
ssh-copy-id [email protected]
ssh-copy-id [email protected]
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
试试看能不能用ssh [email protected] 登录到其他任意从机

在集群和浏览器主机上启用NTP
apt-get install ntp
update-rc.d ntp defaults

配置防火墙
sudo ufw disable
sudo iptables -X
sudo iptables -t nat -F
sudo iptables -t nat -X
sudo iptables -t mangle -F
sudo iptables -t mangle -X
sudo iptables -P INPUT ACCEPT
sudo iptables -P FORWARD ACCEPT
sudo iptables -P OUTPUT ACCEPT

禁用SELinux和PackageKit并检查umask
setenforce 0
vim /etc/selinux/config (如果有)
设置SELINUX=disabled
umask 0022
echo umask 0022 >> /etc/profile

配置反向代理
apt-get install nginx
vim /etc/nginx/sites-available/default (或者/etc/nginx/nginx.conf)
在server{}中加上这句 autoindex on;

配置本地源
下载hdp hdp-utils ambari三个包并解压到/var/www/html 下的不同文件目录下
删掉/var/www/html/ 下的html文件
进入hdp目录 给与目录下所有文件 777权限,后面安装要用
wget -O /etc/apt/sources.list.d/ambari.list http://public-repo-1.
hortonworks.com/ambari/ubuntu16/2.x/updates/2.5.1.0/ambari.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
vim /etc/apt/sources.list.d/ambari.list
修改ambari仓库的地址为本地仓库地址http://xxxx.master/ambari/ambari/ubuntu/(注意修改)
apt-get update
apt-cache showpkg ambari-server
apt-cache showpkg ambari-agent
apt-cache showpkg ambari-metrics-assembly
apt-get install yum
vim /etc/yum/repos.d/ambari.repo
改下版本号即可

安装部署阶段
安装ambari
apt-get install ambari-server
ambari-server setup
n
选3 并且复制粘贴jdk路径
一路回车即可
ambari-server start
http://<主机IP>:8080
操作集群中所有机器 vim /etc/ambari-agent/conf/ambari-agent.ini
修改hostname=<主机名>
在[security]中加上force_https_protocol=PROTOCOL_TLSv1_2
Ambari-agent restart(或重启服务器)
傻瓜式图像化操作,不在累述
遇到问题,点Failed,或进入/var/log/xxx 查看相应日志

原文地址:https://www.cnblogs.com/loveBolin/p/9732831.html

时间: 2024-11-08 08:31:32

Ambari和大数据集群部署(精华)的相关文章

大数据之一:Hadoop2.6.5+centos7.5三节点大数据集群部署搭建

一. VM虚拟环境搭建(详细讲解) 说明:在windos10上使用VmWare Workstation创建3节点Hadoop虚拟环境创建虚拟机下一步设置虚拟机主机名和介质存放路径设置20G磁盘大小选择"自定义硬件"配置网络模式为NAT模式配置虚拟机启动镜像到这里,使用虚拟机克隆技术配置另外两台slave 同理克隆slave2, 步骤省略 此时windos网络连接里面会出现两张虚拟网卡 接下来就是给虚拟机配置IP网络 虚拟机网卡IP要和NAT模式的IP是在同一个段,虚拟机才能通过wind

基于Docker搭建大数据集群(一)Docker环境部署

本篇文章是基于Docker搭建大数据集群系列的开篇之作 主要内容 docker搭建 docker部署CentOS 容器免密钥通信 容器保存成镜像 docker镜像发布 环境 Linux 7.6 一.Docker安装 安装工具包 bash yum install -y yum-utils #安装工具包,缺少这些依赖将无法完成 设置远程仓库 bash yum-config-manager --add-repo https://download.docker.com/linux/centos/dock

基于Docker搭建大数据集群(七)Hbase部署

基于Docker搭建大数据集群(七)Hbase搭建 一.安装包准备 Hbase官网下载 微云下载 | 在 tar 目录下 二.版本兼容 三.角色分配 节点 Master Regionserver cluster-master yes no cluster-slave1 backup yes cluster-slave2 no yes cluster-slave3 no yes 四.配置修改 hbase-env.sh export JAVA_HOME=/opt/jdk/jdk1.8.0_221 h

6个人如何维护上千规模的大数据集群?

本文主要介绍饿了么大数据团队如何通过对计算引擎入口的统一,降低用户接入门槛:如何让用户自助分析任务异常及失败原因,以及如何从集群产生的任务数据本身监控集群计算/存储资源消耗,监控集群状况,监控异常任务等. 如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432.欢迎你的加入.每天下午三点开直播分享基础知识,晚上20:00都会开直播给大家分享大数据项目实战. 饿了么 BDI-大数据平台研发团队目前共有 20 人左右,主要负责离线&实时 Infra 和平台工

大数据集群本地安装方法

大数据集群本地安装方法 1.使用Vmware安装Linux系统 请自行下载,并安装.至少安装两台(这里以安装三台为例) 2. 安装xshell和xftp 安装xshell和xftp主要主要是方面后面传文件.写命令等操作. (注意,xshell和xftp的版本一定要一致,不然安装xftp可能会有问题) 3. 配置虚拟机IP A. 每台虚拟机都用root账号登录 a.  编辑hosts文件(使用以下命令) sudo vi /etc/hosts 添加以下内容 192.168.79.131 master

基于PostgreSQL的可扩展的开源大数据集群数据库:Postgres-XL

基于PostgreSQL的可扩展的开源大数据集群数据库:Postgres-XL http://www.postgres-xl.org/ Postgres的-XL是一个基于PostgreSQL数据库的横向扩展开源SQL数据库集群,具有足够的灵活性来处理不同的数据库工作负载: OLTP 写频繁的业务 需要MPP并行性商业智能 操作数据存储 Key-value 存储 GIS的地理空间 混合业务工作环境 多租户服务提供商托管环境 可扩展性 Postgres-XL(eXtensible Lattice),

基于Docker搭建大数据集群(六)Hive搭建

基于Docker搭建大数据集群(六)Hive搭建 前言 之前搭建的都是1.x版本,这次搭建的是hive3.1.2版本的..还是有一点细节不一样的 Hive现在解析引擎可以选择spark,我是用spark做解析引擎的,存储还是用的HDFS 我是在docker里面搭建的集群,所以都是基于docker操作的 一.安装包准备 Hive官网下载 微云下载 | 在 tar 目录下 二.版本兼容 我使用的相关软件版本 Hadoop ~ 2.7.7 Spark ~ 2.4.4 JDK ~ 1.8.0_221 S

基于hortonworks的大数据集群环境部署流水

一.ambari及HDP安装文件下载地址: 1.系统 操作系统:CentOS7 2.软件 本次安装采用最新版本: ambari-2.7.0.0 hdp-3.0.0.0 详细信息及下载地址如下: Ambari 2.7.0 Repositories Base URL :http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0 Repo File :http://public-repo-1.hortonworks.c

Ambari管理的大数据集群主节点内存扩容操作步骤说明

1. 关闭主机添加内存 登录指定主机系统(按表二依次操作),切换至root用户,输入poweroff命令关闭系统,待系统关闭后,由IT负责人进行内存扩容. 2. 开机检查内存信息 由IT负责人检查扩容主机的内存信息,确定内存扩容完成后再进入系统. 3. 登录系统启动服务 登录系统,切换至root用户进行如下操作. 注意:启动每个主机节点的服务顺序,依次是Ambari.Zookeeper.YARN.HDFS,HIVE(如下). 3.1.检查PID文件 PID目录为/var/run/服务名称,检查对