Centos5.6下利用Ambari搭建Hadoop集群（Hotonworks框架）

 写在前面：

	很长时间没在CSDN上写博客了，最近两个月公司计划要搞大数据，而我们的技术不够，所以这段时间主要进行Hadoop的相关技术学习及储备。废话不多说，下面进入主题,本次主要讨论在Centos5.6下通过Ambari进行Hadoop集群的安装（基于Hotonworks框架）。




一、Centos安装（已装了系统的可以跳过此步）


1.    把光盘放入光驱中重新启动电脑，让光盘引导来安装CentOS 5.6系统;




上图为CentOS的安装启动界面，如果想用文本方式安装，就输入linux text加回车，直接按回车是用图形界面方式安装


2.    如果你不确认你的光盘是否完好，你可以选择OK来确认光盘是否完整，否则直接跳过即可；




3.    显示安装配置界面，点击Next到下一步；




4.    选择系统安装的语言之后点击Next；




5.    选择键盘类型，点击下一步；




6.    这个地方要注意，因为要选择磁盘或分区，如果是一台机器多个系统，这个地方分区要多加小心，以后会讲解如何自定义分区，这里就先暂时选择默认选项；




7.    然后是网络设置，这个地方按照自己的网络环境进行配置；




8.    按照自己的域名和网，以及DNS进行设置；






9.    选择所在时区；




10. 输入登录密码并确认；




11. 从这里开始，除了开发项目中的开发工具，和基本系统中的基本选择外，其余项目的选项都不选；






12. 在基本系统的基本选项中的可选软件包中，去掉firstboot-tui；






13. 去掉不需要的语言；




14. 正式安装




15. 环境变量设置


二、Ambari安装


1.    准备工作：


1）       虚拟主机N台，其中1台Ambari-Server


2）       Ambari选择与对应的HDP支持关系：




3）       软件环境：


?  yum and rpm


?  scp, curl, unzip, tar, and wget


?  OpenSSL (v1.01, build 16 or later)


?  python (v2.6 or later)


?  Oracle JDK 1.7_67 64-bit (default)


4）       更改打开文件描述符最大数(10000)


#ulimit -Sn


#vi /etc/security/limits.conf


2.    安装示例说明




3.    软件条件


安装ambari之前，为了保证ambari各项服务的正常运行，根据操作系统的不同，需要确定一些已经安装的软件的版本，以下列出的软件版本必须符合要求。即：如果现有的系统上有以下软件，版本必须与下面列出的版本完全一致，如果没有的话安装程序会自行安装，就没有问题了。




4.    系统服务条件


必须运行ntpd（时钟同步）服务


ntp服务的启动


在启动NTP服务前，先对提供服务的这台主机手动的校正一次时间


# ntpdatecn.pool.ntp.org


启动ntpd服务


# service ntpdstart

或  # /etc/init.d/ntpd start


查看端口


# netstat -ln|grep 123


服务机加定时任务：


#crontab -e


加入：0 12 ** * /usr/sbin/ntpdate 192.168.4.59


这样，会在每天的12点整，同步一次时间。ntp服务器为192.168.4.59。


5.    操作系统配置


1）       配置主机名


# vi/etc/sysconfig/network


例如：


NETWORKING=yes


HOSTNAME=ambari-server


注意


Ambari配置集群信息的时候是通过全限定主机名来确定集群中的机器信息的，所以必须确保主机名无误


2）       配置集群信息


注意


在每一台机器的hosts文件上都要做配置


# vi/etc/hosts


192.168.1.33           ambari-server


192.168.1.34           clouder01.qtone.com


192.168.1.35           clouder02.qtone.com


技巧：在一台机上配置好后直接用命令：


#scp/etc/hosts [email protected]主机名:/etc/hosts


3）       配置ssh免密码互通


在ambari-server上执行以下命令


#ssh-keygen -t rsa


然后一路回车即可，此操作会在/root生成一个.ssh隐藏文件夹，


文件夹中有两个文件：id_rsa（私钥）和id_rsa.pub（公钥）


检查.ssh文件夹的权限是否为700和文件夹中的文件的权限是否为600


如果不是请执行以下命令


#chmod 700 ~/.ssh


# chmod600 ~/.ssh/authorized_keys


执行以下命令以配置各节点（包括自身）的免密码登录


ssh-copy-id -i ~/.ssh/id_rsa.pub

ambari-server


ssh-copy-id -i ~/.ssh/id_rsa.pub

clouder01.qtone.com


ssh-copy-id -i ~/.ssh/id_rsa.pub

clouder01.qtone.com


分别输入密码即可（默认所有操作都使用root用户）


4）       关闭selinux


看selinux状态


# /usr/sbin/sestatus–v


临时关闭


#setenforce 0


永久关闭SELinux


# vi/etc/selinux/config


将SELINUX=enforcing改为SELINUX=disabled


重启生效，重启命令为：


#reboot


5）       可选–关闭iptables防火墙


#chkconfig iptables off   service iptables stop


查看防火墙状态


#chkconfig –list|grep iptables


提示：Linux下的其它服务都可以用以上命令执行开启和关闭操作


重启生效，重启命令为：


#rebort


6.    安装Ambari


1）        添加添加Ambari的yum资源库


#wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.5.1/ambari.repo -O /etc/yum.repos.d/ambari.repo


2）       资源库验证


#yum repolist


如果出现以下类似信息即为安装正确


1. repoid              repo name


2.AMBARI-1.x    | Ambari 1.x


3）       安装Ambari服务


#yum install ambari-server


注意


由于资源地址在国外，网速不好的情况下时间会很长，也有可能会失败，


若失败多为网速原因，请多次重试


另：可以配置本地yum镜像


4）       设置Ambari服务之前


设置的时候需要设置jdk，会在线下载。


如果网络环境较好，可以尝试去oracle官网在线下载，否则可以自行下载并拷贝到/var/lib/ambari-server/resources/下即可


到时候Ambari的安装程序会自动进行安装


5）       设置Ambari服务


#ambari-server setup


出现选择选项时按默认处理即可


注意


Ambari默认使用的是postgresql数据库，在initpostgresql的时候，可能会报错误信息：（以下只是错误中的一种）


psql:could not connect to server: No such file or directory


Is the server running locally and accepting


connections on Unix domain socket “/tmp/.s.PGSQL.5432″?


出现这个错误的时候，要去查看pgsql的操作log信息，pgsql默认安装在


/var/lib/pgsql


这里就有安装的log文件pgstartup.log


通过日志我们就能知道真正的错误信息是什么了，就能对症下药的。


提示：如果日志里说5432端口被占用，使用查看命令


#netstat -apn|grep 5432


并没有看到有程序占用时，可能的原因是某个程序确实使用过5432端口但是又释放了，并没有完全释放，所以提示被占用且你也找不到占用程序在哪，一个笨办法就是重启。


6）       Ambari启动


启动命令：ambari-server start


查看状态：ambari-server status


关闭服务：ambari-server stop


三、利用Ambari安装HDP集群


1）       启动ambari服务后，用浏览器打开ambari网页；


?  网址：http://服务器名(ip地址)：8080，如http://ambari-server:8080；


?  默认用户名密码：admin/admin


2）       利用ambari向导一步步进行安装


?  输入集群名称，点击下一步；


?  选择HDP的版本


展开“Advanced Repository Options”项进行配置，如果本地有镜像，则配置相关的镜像路径；选择对应的linux系统类型；点击下一步；


?  安装选项填写（这里要保证ssh免除登录认证）


填写各集群机器的名称（如果名称符合FQDN,可以用正则形式，如host[01-10].domain，即配置了host01.domain~host10.domain）；


导入ambri-servcie机器上先前配好的ssh免登录私钥，即


~/.ssh/ id_rsa


填写linux用户，默认是root


注意：这里的linux用户一定要是root或者能够sudo的用户


进入下一步；


?  注册节点




安装成功或失败都有相关提示，如果失败，可以点击fail查看日志；


?  选择我们需要安装的模块，内置了依赖检查


?  分配主节点相关


注意：


ResourceManager不和Namenode在一起也会导致启动不起来.


?  分配从节点及客户端


?  定制服务


?  下一步下一步安装完成


记住安装中所新建的用户,接下来需要用到这些用户


四、常见问题（FAQ）


1.      解决UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe5 in position 108: ordinal not in range(128)


在报错的py文件前加入:


import sys


reload(sys)


sys.setdefaultencoding(‘utf8‘)


2.      got this error “App TimelineServer Stopped”


If usingHDP 2.1.2 or 2.1.1, use this:


yarn.timeline-service.store-class=org.apache.hadoop.yarn.server.applicationhistoryservice.timeline.LeveldbTimelineStore


If usingHDP 2.1.3, use this:


yarn.timeline-service.store-class=org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore


四、参考资料


[1] http://zh.hortonworks.com    --------------hotonwork官网


[2] http://www.cnblogs.com/scotoma/archive/2013/05/18/3085248.html  -------------ambrai安装
				


				
时间： 2024-12-28 12:26:13 

		


		


	

	
	

		


		
Centos5.6下利用Ambari搭建Hadoop集群（Hotonworks框架）的相关文章


								

		

			

                Linux 下 LXD 容器搭建 Hadoop 集群
			

		

		

									

				配置要求 主机内存 4GB . 磁盘 100 GB 以上. HOST 机安装常用 Linux 发行版. Linux Container ( LXD ) 以主机 ubuntu 16.04 为例. 安装 LXD . $ sudo apt-get install lxd $ newgrp lxd $ sudo lxd init 查看可用的镜像源,如果使用默认的 image ,可以跳过下面两步,直接进入后面的 launch . $ lxc remote list 选取上一步喜欢的 image ,复制链接			

		

	

				

		

			

                ubuntu14.04环境下利用docker搭建solrCloud集群
			

		

		

									

				主要内容: 技术关键点:docker17.06.3安装,docker自制镜像及相关容器操作,docker分配固定IP及添加端口映射,solrCloud集群部署等 主要思路:在Ubuntu14.04操作系统的宿主机中,安装docker17.06.3,将宿主机的操作系统制作成docker基础镜像,之后使用自制的基础镜像在docker中启动3个容器,分配固定IP,再在3个容器中配置solrCloud集群. 注:solrCloud采用的solr内置jetty,需要单独配置zookeeper 容器IP及名			

		

	

				

		

			

                用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群（下）-搭建Hadoop集群
			

		

		

									

				上篇:用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker 上篇介绍了快速上手Docker部分,下面接着介绍搭建Hadoop集群部分. 六.搭建Hadoop伪分布模式 我们先用前面创建的这个容器来搭建Hadoop伪分布模式做测试,测试成功后再搭建完全分布式集群. 1.SSH这个centos容器可以看做是一个非常精简的系统,很多功能没有,需要自己安装.Hadoop需要SSH,但容器没有自带,需要我们安装.①安装SSH # yum -y ins			

		

	

				

		

			

                搭建Hadoop集群 (三)
			

		

		

									

				通过 搭建Hadoop集群 (二), 我们已经可以顺利运行自带的wordcount程序. 下面学习如何创建自己的Java应用, 放到Hadoop集群上运行, 并且可以通过debug来调试. 有多少种Debug方式 Hadoop在Eclipse上的Debug方式 一般来说, Debug最多的应用场景是调试MR中的代码逻辑, 还有部分是调试main方法中的某些代码逻辑. 无论是Standalone, Pesudo-Distributed, 还是Fully-Distributed Mode, 都可以d			

		

	

				

		

			

                Hadoop入门进阶步步高（五）-搭建Hadoop集群
			

		

		

									

				五.搭建Hadoop集群 上面的步骤,确认了单机可以执行Hadoop的伪分布执行,真正的分布式执行无非也就是多几台slave机器而已,配置方面的有一点点区别,配置起来就非常简单了. 1.准备三台服务器 192.168.56.101 192.168.56.102 192.168.56.103 在每台机器的/etc/hosts中都将ip及hostname给映射上: 192.168.56.101  nginx1 192.168.56.102  nginx2 192.168.56.103  nginx3			

		

	

				

		

			

                vmware搭建hadoop集群完整过程笔记
			

		

		

									

				搭建hadoop集群完整过程笔记 一.虚拟机和操作系统 环境:ubuntu14+hadoop2.6+jdk1.8 虚拟机:vmware12 二.安装步骤: 先在一台机器上配置好jdk和hadoop: 1.新建一个hadoop用户 用命令:adduser hadoop 2.为了让hadoop用户有sudo的权限: 用root用户打开sudors文件添加红色框里面的内容: 打开文件: 添加内容: 3.配置jdk,我把jdk的压缩包放在了hadoop的用户目录下,然后也解压在当前目录下 修改配置文件(			

		

	

				

		

			

                搭建hadoop集群的linux环境准备
			

		

		

									

				1.修改主机名: 在 root 账号下用命令:vi /etc/sysconfig/network 或sudo vi /etc/sysconfig/network 2.设置系统默认启动级别 在 root 账号下输入 vi /etc/inittab  级别改成3 各启动级别代表含义如下: 0 关机 1 单用户系统,不需要登陆 2 多用户系统但不支持NFS,命令行模式登陆 3 完整多用户模式,命令行模式登陆 4 未定义 5 X11图形模式,图形模式登陆 6.重启 3.配置 hadoop 用户 sudo			

		

	

				

		

			

                搭建Hadoop集群需要注意的问题：
			

		

		

									

				搭建Hadoop集群需要注意的问题: 1.检查三台主机名是否正确 2.检查三台IP是否正确 3.检查 /etc/hosts 映射是否正确 4.检查 JDK和Hadoop 是否安装成功(看环境变量配置) 键入 :sudo vi /etc/profile进到文件之后,检查环境变量配置是否正确: 5.检查 SSH免密码登录 是否设置成功: [master:主机名server1:第一台从机名server2:第二台从机名] 6.检查 Hadoop配置文件 进到hadoop目录下:[注:Nahshon 为用			

		

	

				

		

			

                使用vmware搭建hadoop集群
			

		

		

									

				摘要 本文旨在使用Vmware搭建Hadoop集群,如果你使用的是多台独立的.已安装linux操作系统的计算机搭建Hadoop集群的话,请直接从安装Hadoop 开始 阅读须知 阅读此文之前你需要掌握以下知识,以免文中部分用语令你产生疑惑 熟练使用鼠标和键盘 在windows操作系统下运行.exe文件 访问网页并下载内容 在windows操作系统下能够定位到本地资源所在文件夹 了解ubuntu是linux的一种发行版,如果你不无法理解发行版的概念,可以简单理解成ubuntu是一种linux. 了