Hadoop分布式集群搭建

Linux安装,环境搭建:

1.安装VM

2.安装CentOS_6.5虚拟机,硬盘空间设置为10G

3.设置网络连接:选择VM-编辑-虚拟网络编辑器-更改设置,选择名称VMnet8移除网络,再添加VMnet8网络,选择NAT模式,点击应用

4.设置虚拟机网络连接:右击虚拟机右下角网络适配器-设置-网络适配器,先选择桥接模式,再选择NAT模式,对IP网段进行自动获取

5.设置虚拟机IP地址,用root用户:cd /etc/sysconfig/network-scripts/,vim ifcfg-eth0,

DEVICE="eth0"

BOOTPROTO="static"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

IPADDR=192.168.111.10

NETMASK=255.255.255.0

GATEWAY=192.168.111.2

DNS1=202.103.24.68

6.重启网络服务:/etc/init.d/network restart

7.验证IP设置是否成功:ifconfig

8.验证是否可以上网:curl www.baidu.com

9.复制两份虚拟机文件,分别作为slave1和slave2,在VM中打开这两台slave虚拟机

10.修改两台slave虚拟机的IP设置:进入/etc/sysconfig/network-scripts/ifcfg-eth0文件,修改IP地址,然后选择虚拟机的网络适配器,删除再添加,重新获取MAC,然后重启网络服务器:/etc/init.d/network restart,查看是否能上网

11.设置共享文件夹:VM虚拟机-设置-选项-共享文件夹,Linux路径:/mnt/hgfs/

安装jdk

12.安装jdk和hadoop:拷贝jdk和Hadoop到/usr/local/src/目录下,

cp hadoop-1.2.1-bin.tar.gz /usr/local/src/

cp jdk-6u45-linux-x64.bin /usr/local/src/

进入/usr/local/src/目录,运行 ./jdk-6u45-linux-x64.bin

13.添加环境变量:vim ~/.bashrc,添加:

export JAVA_HOME=/usr/local/src/jdk1.6.0_45

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

14.运行source ~/.bashrc

15.运行java查看是否安装成功

16.将jdk远程复制到其他两台slave虚拟机上:

scp -rp jdk-6u45-linux-x64.bin 192.168.111.11:/usr/local/src/

scp -rp jdk-6u45-linux-x64.bin 192.168.111.12:/usr/local/src/

17.在两台slave虚拟机上安装jdk,重新执行步骤12~15

安装Hadoop

18.安装Hadoop:解压Hadoop

tar xvzf hadoop-1.2.1-bin.tar.gz

19.进入hadoop-1.2.1文件夹:cd hadoop-1.2.1

20.创建tmp文件夹:mkdir tmp

21.进入conf文件夹:cd conf/

22.修改配置文件:master和slave,master文件里加master,slave文件里加slave1,slave2

23.修改core-site.xml文件:vim core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/src/hadoop-1.2.1/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.111.10:9000</value>

</property>

</configuration>

24.修改mapred-site.xml文件:vim mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>http://192.168.111.10:9001</value>

</property>

</configuration>

25.修改hdfs-site.xml文件:vim hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

26.修改hadoop-env.sh文件:vim hadoop-env.sh 在最后加上java_home:

export JAVA_HOME=/usr/local/src/jdk1.6.0_45

本地配置

27.本地网络配置:vim /etc/hosts,添加:

192.168.111.10 master

192.168.111.11 slave1

192.168.111.12 slave2

28.输入hostname master,使配置立即生效

29.修改hostname:vim /etc/sysconfig/network

HOSTNAME=master

30.将master上修改好的文件远程拷贝到slave1和slave2上:

scp -rp hadoop-1.2.1 192.168.111.11:/usr/local/src/

scp -rp hadoop-1.2.1 192.168.111.12:/usr/local/src/

31.修改slave1和slave2的本地网络配置,重复步骤27~29

32.关闭防火墙,每台虚拟机上执行:/etc/init.d/iptables stop,此种方法为临时关闭,如果遇到虚拟机重启,会失效,需要重新执行步骤32~35

33.检查防火墙是否关闭:iptables -L

34.每台虚拟机上执行:setenforce 0

35.检查,每台虚拟机上执行:getenforce

互信关系

36.虚拟机之间建立互信关系:

在虚拟机上执行:ssh-keygen

进入目录:cd ~/.ssh/

拷贝公钥:cat id_rsa.pub > authorized_keys

将slave1和slave2的id_rsa.pub复制到中,并复制给slave1和slave2:

scp -rp authorized_keys slave1:~/.ssh/

scp -rp authorized_keys slave2:~/.ssh/

启动Hadoop集群

37.进入hadoop-1.2.1/bin目录,启动Hadoop集群:

格式化:hadoop初始化   ./hadoop namenode -format

启动hadoop集群   ./start-all.sh

查看进程:jps

时间: 2024-07-31 14:00:21

Hadoop分布式集群搭建的相关文章

Hadoop 分布式集群搭建 &amp; 配置

一. 安装Java Java下载 官网下载合适的jdk,本人使用的是jdk-7u79-linux-x64.tar.gz,接下来就以该版本的jdk为例,进行Java环境变量配置 创建Java目录 在/usr/local目录下创建java目录,用于存放解压的jdk cd /usr/local mkdir java 解压jdk 进入java目录 cd java tar zxvf jdk-7u79-linux-x64.tar.gz 配置环境变量 编辑profile文件 cd /etc vim profi

Hadoop分布式集群搭建完全详细教程

Hadoop分布式集群环境搭建步骤如下 实验环境: 系统:win7 内存:8G(因要开虚拟机,内存建议不低于8G) 硬盘:建议固态 虚拟机:VMware 12 Linux:Centos 7 jdk1.7.0_67 hadoop-2.5.0.tar.gz 1.安装VMware虚拟机环境2.安装Centos操作系统3.修改主机名配置网络4.配置ssh无密码登录5.上传jdk配置环境变量6.上传hadoop配置环境变量7.修改hadoop配置文件8.格式化namenode9.启动hadoop并测试1安

教你玩转Hadoop分布式集群搭建,进击大数据

yuuuqw淌靠拘心重瞻伊米志顺http://blog.sina.com.cn/s/blog_17bd9025e0102x97r.htmlm2g4qb晕刚颇即蒲乘啬捞泌窒http://blog.sina.com.cn/s/blog_170e51b9a0102y3tz.htmla6wasu颖掀痘悦匝抑道磺焉卸http://blog.sina.com.cn/s/blog_170e508f20102x363.htmlwsyswm滩丈绞液勾赘曝胁汗兄http://blog.sina.com.cn/s/b

Hadoop分布式集群搭建(三台虚拟机实践)

由于之前都在有道云笔记中记录:分享链接: http://note.youdao.com/noteshare?id=2b32a9edab38f6262354d1f8e4b0e748&sub=9D561AD084E449AB8A96B273DEF07CCC 原文地址:https://www.cnblogs.com/ailsa-mei/p/8734477.html

使用Docker在本地搭建Hadoop分布式集群

学习Hadoop集群环境搭建是Hadoop入门必经之路.搭建分布式集群通常有两个办法: 要么找多台机器来部署(常常找不到机器) 或者在本地开多个虚拟机(开销很大,对宿主机器性能要求高,光是安装多个虚拟机系统就得搞半天……). 那么,问题来了! 有没有更有可行性的办法? 提到虚拟化,Docker最近很是火热!不妨拿来在本地做虚拟化,搭建Hadoop的伪分布式集群环境.虽然有点大材小用,但是学习学习,练练手也是极好的. 文章比较长,建议先倒杯水,听我慢慢到来…… 先说一下我的思路吧: 先使用Dock

Hadoop全分布式集群搭建(详细)

一.准备物理集群.1.物理集群搭建方式.采用搭建3台虚拟机的方式来部署3个节点的物理集群.2.虚拟机准备.准备一个已近建好的虚拟机进行克隆.(建议为没进行过任何操作的)在要选择克隆的虚拟机上右击鼠标,管理,克隆.在弹出对话框中进行以下操作.(1).下一步.(2).选择虚拟机中的当前状态,下一步. (3).选择创建完整克隆,下一步.(4).输入虚拟机名称,下一步.(5).克隆完成.(6).按照上述步骤再创建一个虚拟机名称为slave02的.3.虚拟机网络配置.由于slave01和slave02虚拟

大数据系列之Hadoop分布式集群部署

本节目的:搭建Hadoop分布式集群环境 环境准备 LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5:Master Ip:10.211.55.3 ,Slave Ip:10.211.55.4 各虚拟机环境配置好Jdk1.8(1.7+即可) 资料准备 hadoop-2.7.3.tar.gz 虚拟机配置步骤 以下操作都在两台虚拟机 root用户下操作,切换至root用户命令 配置Master hostname 为Master ; vi /etc/sysconfi

基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布式集群搭建

能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事. 现将前期手里面的一个项目做一个大致的总结,与大家一起分享.交流.进步.项目现在正在线上运行,项目名--基于Hadoop的数据分析综合管理平台. 项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-->热点话题发现-->报表"实时"展示,使用到的技术也是当今互联网公司常用的技术:Hadoop.Mahout.HBase.Spring Data Had

Spark入门 - 1 搭建Hadoop分布式集群

安装Ubuntu系统 不论是通过虚拟机方式还是直接在物理机上安装Ubuntu系统,网上都有丰富的教程,此处不再赘述. 为了方便起见,此处设置的机器名最好与书本的设置一致:Master.Slave1和Slave2. 配置root用户登录 这里有一步与普通教程不同.在安装好系统,重启之后,完成了相关配置.可以进行这一步,设置使用root用户登录,方便以后多个服务器相互操作.如下所示. 为了简化权限问题,需要以root用户的身份登录使用Ubuntu系统.而在默认情况下,Ubuntu没有开启root用户