Hadoop学习之Hadoop集群搭建

1、检查网络状况

Dos命令:ping ip地址,同时,在Linux下通过命令:ifconfig可以查看ip信息
2、修改虚拟机的ip地址
    打开linux网络连接,在桌面右上角,然后编辑ip地址,修改ip地址后,重启网络服务:service network restart,如果网络重启失败,可以在虚拟机网络设置中心删除网络连接,然后重新启动Linux,接着在网络设置中心重新设置ip地址,最后重启Linux
3、修改从节点主机名
    vi /etc/sysconfig/network 修改主机名后--->:wq保存退出,然后重启主机使主机名生效,同时注意:每次修改主机名后还必须主机名ip映射地址:vi /etc/hosts,将主机名和主机ip地址相对应,还有Hadoop配置文件也必须修改:cd /usr/local/hadoop/conf/core-site.xml,将hdfs中涉及的主机名修改,同时还有Hadoop配置文件mapred-site.xml,将其中主机名修改,修改完配置文件后必须重启主机:reboot -h now,是其所作的修改生效。
4、清理从机文件

将集群中从节点机器中Hadoop安装目录下所有文件全部删除
5、配置从机ssh密钥文件

首先切换到指定目录:cd /root/.ssh/ :启动每台从节点机器上的ssh服务:ssh-keygen -t rsa,一路回车,然后将切换到.ssh目录下:cd /root/.ssh/,创建含有公钥信息的文件:cat id_rsa.pub >> authorized_keys然后执行命令:ssh localhost,选择yes,最后: exit,,接着执行命令:ssh 主机名(如果出现“无法解析主机名的错误”,则可能是主机名和ip地址映射出现错误,可以修改hosts文件:vi /etc/hosts来纠正映射信息),选择yes,最后执行命令:exit,就可以完成
6、关闭从机所有防火墙
7、修改集群电脑中hosts文件

具体做法是:vi /etc/hosts ,然后编辑文件,在其中添加集群中所有主机名以及ip地址,可以通过命令:   一次性集群中给所有机器的该文件
8、设置集群中各个电脑之间免密码登录

原理就是各个电脑上必须存有其他电脑上的公钥信息,可以通过命令:ssh-copy-id -i 目标主机名:/root/.ssh/,就可以将本机公钥信息发送给目标主机指定目录下,然后通过复制命令:scp /root/.ssh/authorized_keys 目标主机名称,就可以将本机上的公钥信息复制到目标机器上,从而实现两台机器之间免密码登录主机中存放公钥的文件:more authorized_keys
9、将主节点上的Hadoop配置信息复制到各个从节点主机
    复制之前,进入到hadoop目录,删除logs(日志文件)和tmp(数据文件)两个文件夹下所有文件,切换到local目录下:首先复制jdk: scp -r jdk 从节点主机名:/usr/local/,接着复制hadoop: scp -r hadoop 从机名称:/usr/local/,然后把主机的/etc/profile复制到各个从节点,scp /etc/profile 从节点主机名:/etc/,同时必须在目标节点执行:source /etc/profile
10、修改主机hadoop配置文件,设置集群主从关系
    进入到conf目录下,执行命令:vi slaves修改配置文件,输入集群中其他从节点主机名称,每个主机名称各占一行,然后保存退出
11、格式化后启动
    在主机上执行命令:hadoop namenode -format,然后执行命令:start-all.sh启动集群,主节点上进程包括:SecondaryNameNode、NameNode、Jps、JobTracter,其他从节点分别有三个服务,分别是:Jps、DataNode、TaskTracter,同时,通过浏览器可以查看集群信息:http://localhost:50070查看整个集群信息
12、设置各个机器上运行的服务
    通过修改Hadoop配置文件:vi masters,本文件中给存放NameNode节点位置,可以修改为其他主机名从而指定其在指定机器上启动服务,通过执行命令:vi core-site.xml修改配置文件,可以指定NameNode启动服务的机器,修改mapred-site.xml可以修改JobTracoer的启动服务的机器
****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容,在从节点机器中禁止修改该配置文件
13、在现有集群中动态增加新节点
    配置新节点的环境:1-14步后,把新节点的主机名添加到slaves配置文件中:vi slaves,添加新节点主机名称后保存退出,然后切换到hadoop的bin
目录下,执行命令:hadoop-daemon.sh start datanode 启动从节点datanode进程,同时接着启动tasktracker服务:hadoop-deamon.sh start tasktacker,
相当于新节点首先在主机处报到,然后执行命令:hadoop dfsadmin -refreshNodes相当于刷新整个进群,这样,新节点就正式加入到集群中了。
(结束进程命令:kill -9 进程名称)
14、查看Hadoop是否处于安全模式
    命令:hadoop dfsadmin -safemode get,

进入安全模式可以通过命令:hadoop dfsadmin -safemode enter

离开安全模式通过命令:hadoop dfsadmin -safemode leave

时间: 2024-10-08 10:28:07

Hadoop学习之Hadoop集群搭建的相关文章

Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)

现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可. 系统版本: master:Ubuntu 12.04 slave:Ubuntu 12.04 hadoop:hadoop 2.2.0 安装ssh服务:sudo apt-get install ssh 有时也要更新一下vim:sudo apt-ge

Hadoop HA高可用集群搭建(2.7.2)

1.集群规划: 主机名        IP                安装的软件                            运行的进程 drguo1  192.168.80.149 jdk.hadoop                         NameNode.DFSZKFailoverController(zkfc).ResourceManager drguo2 192.168.80.150  jdk.hadoop                         Nam

kafka学习(二)-zookeeper集群搭建

zookeeper概念 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名 服务等.Zookeeper是hadoop的一个子项目,其发展历程无需赘述.在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制 不适合在某些应用中使用,因此需要有一种可靠的.可扩展的.分布式的.可配置的协调机制来统一系统的状态.Zookeeper的目的就在于此. 1.角色 Zookeeper中的角色主要有以下三

kafka学习(三)-kafka集群搭建

kafka集群搭建 下面简单的介绍一下kafka的集群搭建,单个kafka的安装更简单,下面以集群搭建为例子. 我们设置并部署有三个节点的 kafka 集合体,必须在每个节点上遵循下面的步骤来启动 kafka 服务器,kafka集群需要依赖zookeeper集群,上一篇已经说道了zookeeper的搭建,方法请参考:http://www.cnblogs.com/chushiyaoyue/p/5615267.html 1.环境准备 测试服务器(2n+1)奇数台 192.168.181.128 ce

Hadoop 2.2.0 集群搭建

概述 在前面我有写过关于 Hadoop 集群的搭建,不过之前的 Hadoop 是 1.x 版本的.目前是基于 2.x 版本的 Hadoop,与之前的 1.x 版本的差别还是挺大的.以及更为详细的 SSH 免密码互连登录的配置过程.所以,这里也把我搭建的过程记录下来了.希望于你有益. 版权说明 著作权归作者所有. 商业转载请联系作者获得授权,非商业转载请注明出处. 本文作者:Coding-Naga 发表日期: 2016年5月4日 本文链接:http://blog.csdn.net/lemon_tr

Hadoop学习12-配置集群环境

由于之前虚拟机都是用的桥接方式,有时候没有网络可用,想学习的时候,就狠不方便. 于是研究了一下,希望搭建一个多台虚机组成一个局域网的集群,即host-only方式 1.安装VM,网络选择“host-only”模式 2.设置本机(win7)的网络设置,配置虚拟网卡,用来跟虚拟机通信 即:VMware Network Adapter VMnet1 配置IP地址:192.168.2.1 子网掩码:255.255.255.0 其中,2可在有限范围内任意指定 1不可更改,表示分配给主机的子网ip 其他项不

Hadoop 2.6.0集群搭建(未完)

分给我的云服务器只有2台= = 所以只用两台来搭建~多台也就是多配几个slave节点木有关系的啦~那么下来开始啦 一.首先准备好编译过的hadoop2.6版本,以及相关jar包~准备开始搞啊~ 解压命令是 tar zxvf xxxxxxx(文件名) 创建tmp路径 用于hadoop相关路径 mkdir tmp 在tmp下创建hadoop路径 mkdir hadoop 创建在根目录创建data路径 随后路径如图 二.配置环境变量 随后输入命令 source ~./bash_profile 修改ho

spark学习笔记-spark集群搭建(7)

安装spark包 1 1.将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下. 2 2.解压缩spark包:tar zxvf spark-1.3.0-bin-hadoop2.4.tgz. 3 3.更改spark目录名:mv spark-1.3.0-bin-hadoop2.4 spark 4 4.设置spark环境变量 5 vi .bashrc 6 export SPARK_HOME=/usr/local/spark 7 export PA

Spring-Cloud学习之Eureka集群搭建

一.为什么需要集群 上一篇文章讲解了如何搭建单个节点的eureka,这篇讲解如何搭建eureka集群,这里的集群还是本地不同的端口执行三个eureka,因为条件不要允许,没有三台电脑,所以大家将就一下吧,eureka集群的目的就是防止一个点故障导致,整个服务瘫痪的问题,成为单点故障,因为一个点出问题,还有另一个点顶上去,代替这个点工作,所以集群也实现了高可用.高性能 二.集群的原理 每一个注册点都配置有其它点的url,能够与其他server点进行数据的同步,当服务向一个点注册时,该店就会把该服务

Redis学习笔记7--Redis集群搭建

在安装redis集群之前,要先安装一些环境 (1)安装zlib 确保系统安装zlib,否则gem install会报(no such file to load -- zlib) zlib-1.2.6.tar ./configure make make install (2)安装ruby ruby 使用本地yum安装也能使用(推荐) 编译安装: 这里不能使用make & make install ruby1.9.2 ./configure -prefix=/usr/local/ruby make