Hadoop2.7.4完全分布式集群构建实战总结

配置Linux环境
配置好各虚拟机的网络（采用NAT联网模式）
通过Linux图形界面进行修改(桌面版本Centos)：进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections-> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual ->点击add按钮 -> 添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply
修改配置文件方式
????????????? vi /etc/sysconfig/network-scripts/ifcfg-eth0

????????????? DEVICE="eth0"

????????????? BOOTPROTO="static"?????????????? ###

????????????? HWADDR="00:0C:29:3C:BF:E7"

????????????? IPV6INIT="yes"

????????????? NM_CONTROLLED="yes"

????????????? ONBOOT="yes"

????????????? TYPE="Ethernet"

????????????? UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

????????????? IPADDR="192.168.1.101"?????????? ###

????????????? NETMASK="255.255.255.0"????????? ###

????????????? GATEWAY="192.168.1.1"??????????? ###

修改各个虚拟机主机名
????????????? vi /etc/sysconfig/network

????????????? NETWORKING=yes

????????????? HOSTNAME=node-1???

修改主机名和IP的映射关系
????????????? vi /etc/hosts

????????????? 192.168.1.101 node-1

????????????? 192.168.1.102 node-2

????????????? 192.168.1.103 node-3

关闭防火墙
????????????? #查看防火墙状态

????????????? service iptables status

????????????? #关闭防火墙

????????????? service iptables stop

????????????? #查看防火墙开机启动状态

????????????? chkconfig iptables --list

????????????? #关闭防火墙开机启动

????????????? chkconfig iptables off

配置ssh免登陆
?????? ??? #生成ssh免登陆密钥

?????? ssh-keygen -t rsa （四个回车）

?????? 执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

?????? 将公钥拷贝到要免密登陆的目标机器上

?????? ssh-copy-id node-2

?????? ssh-copy-id node-3

同步集群时间
?????? ???? 常用的手动进行时间的同步

????????????? date -s "2018-03-03 03:03:03"

?????? ???? 或者网络同步：

????????????? yum install ntpdate

????????????? ntpdate cn.pool.ntp.org

安装JDK并配置环境变量
上传jdk
????????????? rz jdk-8u65-linux-x64.tar.gz

解压jdk
????????????? tar -zxvf jdk-8u65-linux-x64.tar.gz -C /root/apps

将java添加到环境变量中
????????????? vim /etc/profile

????????????? #在文件最后添加

????????????? export JAVA_HOME=/root/apps/jdk1.8.0_65

????????????? export PATH=$PATH:$JAVA_HOME/bin

????????????? export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

????????????? #刷新配置

????????????? source /etc/profile

安装hadoop2.7.4
上传hadoop的安装包到服务器
?????? ???? hadoop-2.7.4-with-centos-6.7.tar.gz

解压安装包
?????? ???? tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz

?????? ?? ??注意：hadoop2.x的配置文件目录：$HADOOP_HOME/etc/hadoop

配置hadoop的核心配置文件
配置文件hadoop-env.sh
vi hadoop-env.sh

export JAVA_HOME=/root/apps/jdk1.8.0_65

配置文件core-site.xml
说明：指定HADOOP所使用的文件系统schema（URI），HDFS的主节点（NameNode）地址

<property>

?????? ?????? <name>fs.defaultFS</name>

?????? ?????? <value>hdfs://node-1:9000</value>

</property>

说明：指定hadoop运行时产生文件的存储目录,默认/tmp/hadoop-${user.name} -->

<property>

?????? ?????? <name>hadoop.tmp.dir</name>

?????? ?????? <value>/home/hadoop/hadoop-2.4.1/tmp</value>

</property>

配置文件hdfs-site.xml?

?????? ?????? dfs.replication
?????? ?????? 2

?????? ????? dfs.namenode.secondary.http-address
? ??? ??????node-2:50090

配置文件mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

?????? ?????? mapreduce.framework.name
?????? ?????? yarn

配置文件yarn-site.xml

?????? ????? yarn.resourcemanager.hostname
?????? ????? node-1

?????? ?????? yarn.nodemanager.aux-services
?????? ????? mapreduce_shuffle

配置文件slaves，里面写上从节点所在的主机名字
vi slaves
node-1
node-2
node-3
将hadoop添加到环境变量
?????? vim /etc/proflie
export JAVA_HOME=/root/apps/jdk1.8.0_65
export HADOOP_HOME=/root/apps/hadoop-2.7.4
?????? export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
?????? source /etc/profile
格式化namenode（本质是对namenode进行初始化）
?????? hdfs namenode -format (hadoop namenode -format)
启动hadoop，验证是否启动成功
?????? 先启动HDFS
?????? sbin/start-dfs.sh
?????? 再启动YARN
?????? sbin/start-yarn.sh
?????? 使用jps命令验证
?????? 27408 NameNode
?????? 28218 Jps
?????? 27643 SecondaryNameNode?? (secondarynamenode)
?????? 28066 NodeManager
?????? 27803 ResourceManager
?????? 27512 DataNode
?????? http://192.168.1.101:50070 （HDFS管理界面）
?????? http://192.168.1.101:8088 （MR管理界面）

原文地址：http://blog.51cto.com/14133322/2330665

时间： 2024-10-03 00:59:53

Hadoop2.7.4完全分布式集群构建实战总结的相关文章

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程.包含,Ubuntu服务器创建.远程工具连接配置.Ubuntu服务器配置.Hadoop文件配置.Hadoop格式化.启动.(首更时间2016年10月27日) 主机名/hostname IP 角色 hadoop1 192.168.193.131 ResourceManager/NameNode/SecondaryNameNode hadoop2 192.168.193.132 NodeManager/

CentOS7.5搭建Hadoop2.7.6完全分布式集群

一 完全分布式集群(单点) Hadoop官方地址:http://hadoop.apache.org/ 1  准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙,设置静态IP,主机名此处略,参考  Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配置其他主机的host.因此我们在主机的/etc/hosts下均进行如下配置: [root@node21 ~]# vi /etc/hosts

Hadoop小兵笔记【二】Hadoop分布式集群扩展实战经验

一.集群原先配置: 主机名sparkMaster,Ubuntu12.04-32 ,用户名Root , 内存4g    (只用于任务调度和分配,不做计算节点) 从机名sparkSlave1,Ubuntu12.04-32 ,用户名Root , 内存4g    (计算节点) 从机名sparkSlave2,Ubuntu12.04-32 ,用户名Root , 内存1.7g (计算节点) 二.扩展原因:计算数据量增大,原先的两个工作节点已不不能满足实时性的需求,由于实验室计算资源有限,故将原先的调度节点也增

Docker中自动化搭建Hadoop2.6完全分布式集群

这一节将在<Dockerfile完成Hadoop2.6的伪分布式搭建>的基础上搭建一个完全分布式的Hadoop集群. 1. 搭建集群中需要用到的文件 [[email protected] hadoop-cluster]# ll total 340648# 用自动化构建集群的脚本 -rwxr-xr-x. 1 root root 2518 Aug 13 01:20 build-cluster.sh# 使用scp 来下载的文件的脚本 -rwxr-xr-x. 1 root root 314 Aug 1

Hadoop2.X分布式集群部署

本博文集群搭建没有实现Hadoop HA,详细文档在后续给出,本次只是先给出大概逻辑思路. (一)hadoop2.x版本下载及安装 Hadoop 版本选择目前主要基于三个厂商(国外)如下所示: 基于Apache厂商的最原始的hadoop版本, 所有发行版均基于这个版本进行改进. 基于HortonWorks厂商的开源免费的hdp版本. 基于Cloudera厂商的cdh版本,Cloudera有免费版和企业版, 企业版只有试用期.不过cdh大部分功能都是免费的. (二)hadoop2.x分布式集群配置

Hadoop学习笔记—13.分布式集群中的动态添加与下架

开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如何动态(不关机且正在运行的情况下)地添加一个Hadoop节点与下架一个Hadoop节点. 一.实验环境结构 本次试验,我们构建的集群是一个主节点,三个从节点的结构,其中三个从节点的性能配置各不相同,这里我们主要在虚拟机中的内存设置这三个从节点分别为:512MB.512MB与256MB.首先,我们暂时只设置两个从节点,另外一个作为动态添加节点的时候使用.主节点与

使用Docker在本地搭建Hadoop分布式集群

学习Hadoop集群环境搭建是Hadoop入门必经之路.搭建分布式集群通常有两个办法: 要么找多台机器来部署(常常找不到机器) 或者在本地开多个虚拟机(开销很大,对宿主机器性能要求高,光是安装多个虚拟机系统就得搞半天……). 那么,问题来了! 有没有更有可行性的办法? 提到虚拟化,Docker最近很是火热!不妨拿来在本地做虚拟化,搭建Hadoop的伪分布式集群环境.虽然有点大材小用,但是学习学习,练练手也是极好的. 文章比较长,建议先倒杯水,听我慢慢到来…… 先说一下我的思路吧: 先使用Dock

ubuntu12.04+kafka2.9.2+zookeeper3.4.5的分布式集群安装和demo(java api)测试

博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=547 转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作! --------------------------------------- 目录: 一.什么是kafka? 二.kafka的官方网站在哪里? 三.在哪里下载?需要哪些组件的支持? 四.如何安装? 五.FAQ 六.扩展阅读 一.什么是kafka? ka

Spark入门 - 1 搭建Hadoop分布式集群

安装Ubuntu系统 不论是通过虚拟机方式还是直接在物理机上安装Ubuntu系统,网上都有丰富的教程,此处不再赘述. 为了方便起见,此处设置的机器名最好与书本的设置一致:Master.Slave1和Slave2. 配置root用户登录 这里有一步与普通教程不同.在安装好系统,重启之后,完成了相关配置.可以进行这一步,设置使用root用户登录,方便以后多个服务器相互操作.如下所示. 为了简化权限问题,需要以root用户的身份登录使用Ubuntu系统.而在默认情况下,Ubuntu没有开启root用户