centos6.4设备hadoop-2.5.1(完全分布式)

环境介绍:

在这两种装备centos6.4(32位置)的server安装Hadoop-2.5.1分布式集群(2台机器,主要试验用。哈哈)。

1.改动主机名和/etc/hosts文件

1)改动主机名(非必要)

vi /etc/sysconfig/network
HOSTNAME=XXX

重新启动后生效。

2)/etc/hosts是ip地址和其相应主机名文件,使机器知道ip和主机名相应关系。格式例如以下:

#IPAddress HostName
192.168.1.67 MasterServer
192.168.1.241 SlaveServer

2.配置免password登陆SSH

1)生成密钥:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

以上是两个单引號。

2)将id_dsa.pub(公钥)追加到授权的key中:

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3)将认证文件拷贝到其他节点上:

scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

4)測试:

ssh SlaveServer

第一次要确认连接。输入yes就可以。

但我的仍要求输入password。原因是.ssh和authorized_keys权限不正确,详细见:http://blog.csdn.net/hwwn2009/article/details/39852457

3.各节点上安装jdk

1)选择的版本号是jdk-6u27-linux-i586.bin。下载地址:http://pan.baidu.com/s/1mgICcFA

2)上传到hadooper用户文件夹下。加入运行权限

chmod 777 jdk-6u27-linux-i586.bin

3)安装

./jdk-6u27-linux-i586.bin

4)配置环境变量:vi /etc/profile增加下面三行

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
export PATH=$JAVA_HOME/bin:$PATH

5)运行source /etc/profile使环境变量的配置生效

6)运行java –version查看jdk版本号,验证是否成功。

4. Hadoop安装

每台节点都要安装hadoop。

上传hadoop-2.5.1.tar.gz到用户hadooper文件夹下。

1)解压

tar -zvxf hadoop-2.5.1.tar.gz

2)加入环境变量:vi  /etc/profile,尾部加入例如以下

export HADOOP_HOME=/home/hadooper/hadoop/hadoop-2.5.1
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

设置马上生效:

source /etc/profile

3)改动Hadoop配置文件

(1)core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://MasterServer:9000</value>
</property>

(2)hdfs-site.xml

<property>
    <name>dfs.replication</name>  #值不应大于datanode数量
    <value>1</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>         #设置分布式文件系统存放于/home/hadooper/hadoop/dfs 的本地文件夹
   <value>/home/hadooper/hadoop/dfs/name</value>
   <description>  </description>
 </property>

 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/home/hadooper/hadoop/dfs/data</value>
   <description> </description>
 </property>

 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>  

注:訪问namenode的hdfs使用50070port,訪问datanode的webhdfs使用50075port。要想不区分port,直接使用namenode的IP和port进行全部的webhdfs操作,就须要在全部的datanode上都设置hdfs-site.xml中的dfs.webhdfs.enabled为true。

(3)mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>
 <property>
    <name>mapreduce.jobhistory.address</name>
    <value>MasterServer:10020</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>MasterServer:19888</value>
 </property><span style="font-family: Arial, Helvetica, sans-serif;">         </span>

jobhistory是Hadoop自带了一个历史server,记录Mapreduce历史作业。

默认情况下。jobhistory没有启动。可用下面命令启动:

 sbin/mr-jobhistory-daemon.sh start historyserver

(4)yarn-site.xml

 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
 <property>
    <name>yarn.resourcemanager.address</name>
    <value>MasterServer:8032</value>
 </property>
 <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>MasterServer:8030</value>
 </property>
 <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>MasterServer:8031</value>
 </property>
 <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>MasterServer:8033</value>
 </property>
 <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>MasterServer:8088</value>
 </property>  

(5)slaves

SlaveServer

(6)分别在hadoop-env.sh和yarn-env.sh中加入JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27

5.执行Hadoop

1)格式化

hdfs namenode –format

2)启动Hadoop

start-dfs.sh
start-yarn.sh

也能够用一条命令:

start-all.sh

3)停止Hadoop

stop-all.sh

4)jps查看进程

7692 ResourceManager
8428 JobHistoryServer
7348 NameNode
14874 Jps
7539 SecondaryNameNode

5)通过浏览器查看集群执行状态

(1)http://192.168.1.67:50070

(2)http://192.168.1.67:8088/

(3)http://192.168.1.67:19888

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHd3bjIwMDk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" >

6. 执行Hadoop自带的wordcount演示样例

1)建立输入文件:

echo "My first hadoop example. Hello Hadoop in input. " > input

2)建立文件夹

hadoop fs -mkdir /user/hadooper

3)上传文件

hadoop fs -put input /user/hadooper

4)运行wordcount程序

 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /user/hadooper/input /user/hadooper/output

5)查看结果

hadoop fs -cat /user/hadooper/output/part-r-00000
Hadoop	1
My	1
example.Hello	1
first	1
hadoop	1
in	1
input.	1

转载请注明:http://blog.csdn.net/hwwn2009/article/details/39889465

版权声明:本文博主原创文章,博客,未经同意不得转载。

时间: 2024-10-20 12:01:58

centos6.4设备hadoop-2.5.1(完全分布式)的相关文章

【原】centos6.5下hadoop cdh4.6 安装

1.架构准备: namenode 10.0.0.2 secondnamenode 10.0.0.3 datanode1 10.0.0.4 datanode2 10.0.0.6 datanode3 10.0.0.11 2.安装用户:cloud-user 3.[namenode]namenode到其他节点ssh无密码登录: ssh-keygen     (一路回车) ssh-copy-id [email protected]3 ssh-copy-id [email protected]4 ssh-c

基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计

map/reduce是大数据处理的技术,它的思路是把大规模数据分成一个个小数据块,每个数据块由一个map任务来处理,处理的中间结果汇总到reduce,最后生成最终的处理结果,这个处理和汇总的过程是可以反复多次的,也就是map-reduce-map-reduce 基于map/reduce的思路,我们可以设计基于hadoop(map/reduce)的大规模分布式并行计算生产排程系统,怎么样把大数据处理变成大规模分布式并行计算呢,就是我们不切分数据,每个map任务的数据都是相同的,每个map任务对排程

Hadoop YARN 安装-单机伪分布式环境

本文是根据Hadoop官网安装教程写的Hadoop YARN在单机伪分布式环境下的安装报告,仅供参考. 1. 安装环境如下: 操作系统:Ubuntu14.04 Hadoop版本:hadoop-2.5.0 Java版本:openjdk-1.7.0_55 2. 下载Hadoop-2.5.0,下载地址 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz 本文的$HADOOP_HOME为:/home/

Hadoop日记Day3---Hadoop的伪分布式安装

导录 比较仔细的读者可能发现,注意本章的图片又不太对劲的地方,那就是linux中的主机名有的是hadoop,有的是localhost,是由于使用的不同的电脑编辑的本文章,有的电脑上并没有修改主机名,一直使用默认的localhost主机名,不影响大家的学习,只是主机名不一样,其他的都一样,大家注意一下就可以了,自己是什么主机名,就把他看成自己的主机名就可以了,文章中的localhost和hadoop只是不同的主机名,他们的目录结构都是一样的.还有就是一下的软件下载地址:http://pan.bai

centOS6.3(64bit)Hadoop的Eclipse开发环境搭建

操作系统centos6.3(64位) 一个namenode 两个datanode Hadoop版本号:hadoop-1.1.2 Eclipse版本号:eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.zip( Eclipse SDK For Linux 4.4 RC 2(64 Bit ) ) JDK:版本号 [[email protected] ~]$ java -version java version "1.7.0_67" Java(

CentOS6.5x64搭建Hadoop环境

首先总结一下之所以被搭建大数据环境支配的原因:浮躁. 总是坐不住,总是嫌视频太长,总是感觉命令太杂太多,所以就不愿去面对. 在抖音上听到一句话:“为什么人们不愿吃学习的苦而能吃社会的苦? 因为学习的苦需要主动去吃,所以没人愿意,到了社会上,社会的苦不得不吃.” 有些时候,有些坎坷,我们必须要亲身经历,就算你逃避,也终有一天会面对它.就像我,觉得教科书文字枯燥,不如看视频跟着敲直接.但是绕了一圈,终究我还是回归到了教科书. 我发现白彦峰老师编的这本<大数据技术基础实验教程>真是一本神书!只要,你

centos6.5搭建hadoop单节点

1.添加用户 groupadd  hadoop useradd -d /home/hadoop -m hadoop -g hadoop passwd hadoop    修改密码 付给用户sudo权限 vi /etc/sudoers 在root ALL=(ALL) ALL下面添加 hadoop ALL=(ALL) NOPASSWD:ALL 2.安装jdk 2.1.官网下载地址  下载rpm包 2.2 上传到服务器中,安装 sudo rpm -ivh jdk-8u144-linux-x64.rpm

Centos6.10搭建Hadoop三节点分布式

(一)安装JDK 1. 下载JDK,解压到相应的路径 2.  修改 /etc/profile 文件(文本末尾添加),保存 sudo vi /etc/profile # 配置 JAVA_HOME export JAVA_HOME=/home/komean/workspace/JDK/jdk1.8.0_181 export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar # 设置PATH export PATH=${JAV

centos6.5搭建hadoop完整教程

https://blog.csdn.net/hanzl1/article/details/79040380 博客地址http://blog.csdn.net/pucao_cug/article/details/71698903的文章的指导下完成. 原文地址:https://www.cnblogs.com/1a2a/p/10717507.html