hadoop2.2环境配置

场景介绍：主机mac pro，安装了两台虚拟机，虚拟机均为Ubuntu系统

ubuntu系统配置jdk

1、到 Sun 的官网下载

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2、解压所下载的文件

[email protected]:~/software$ tar -zxvf jdk-7u79-linux-x64.tar.gz

3、配置java环境变量

[email protected]:~/software$ vi ~/.bashrc

跳至文件结束处

添加

export JAVA_HOME=/home/lixiaojiao/software/jdk1.7.0_79
export CLASS_PATH=.:$CLASS_PATH:$JAVA_HOME/lib
export PATH=.:$PATH:$JAVA_HOME/bin

如图所示

保存并退出

4、配置完毕后并没有立即生效，需要使用下面命令后生效

[email protected]:~/software$ source ~/.bashrc

5、验证是否配置成功，出现下面效果证明成功

[email protected]:~/software$ java -version

mac机器配置hadoop2.6.1环境(java环境之前已经配置)

1、解压hadoop下载文件

lixiaojiaodeMacBook-Pro:zipFiles lixiaojiao$ tar -zxvf hadoop-2.6.1.tar.gz

2.本人将云计算相关的放入到目录中cloudcomputing，查看目录结构

3.设置ssh远程登录

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ ssh-keygen -t rsa -P ""

执行以下命令

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

验证是否成功

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ ssh localhost

出现下图，失败。。

原因是系统的ssh远程登录没有打开

首先在系统偏好设置->共享->远程登录，打开远程登录

再次执行命令

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ ssh localhost

出现下图证明成功

3. 切换到etc目录中，查看配置文件

lixiaojiaodeMacBook-Pro:cloudcomputing lixiaojiao$ cd hadoop-2.6.1/etc/hadoop/

4.修改配置文件

切换到/Users/lixiaojiao/software/cloudcomputing/hadoop-2.6.1/etc/hadoop目录

(1) 配置core-site.xml

lixiaojiaodeMacBook-Pro:hadoop lixiaojiao$ vi core-site.xml

添加在

<configuration>

</configuration>中间增加如下配置

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>

(2) 配置yarn-site.xml

增加如下配置

<property>
                <name>yarn.noCHdemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
</property>

<property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

(3) 创建和配置mapred-site.xml，将该目录中的mapred-site.xml.template复制为mapred-site.xml并添加配置如下

<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
</property>

(4) 配置hdfs-site.xml，首先在

/Users/lixiaojiao/software/cloudcomputing/hadoop-2.6.1/中新建目录，hdfs/data和hdfs/name，并添加如下配置

<property>
                <name>dfs.replication</name>
                <value>1</value>
</property>

<property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/Users/lixiaojiao/software/cloudcomputing/hadoop-2.6.1/hdfs/name</value>
</property>

<property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/Users/lixiaojiao/software/cloudcomputing/hadoop-2.6.1/hdfs/data</value>
</property>

(5) 格式化hdfs

lixiaojiaodeMacBook-Pro:bin lixiaojiao$ ./hdfs namenode -format

出现下图

(6) 启动hadoop

切换到sbin目录下

lixiaojiaodeMacBook-Pro:bin lixiaojiao$ cd ../sbin/

执行

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ ./start-dfs.sh

执行

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ ./start-yarn.sh

浏览器打开 http://localhost:50070/，会看到hdfs管理页面

浏览器打开 http://localhost:8088/，会看到hadoop进程管理页面

在第六部运行

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ ./start-dfs.sh

时候出现下面提示

computing/hadoop-2.6.1/logs/hadoop-lixiaojiao-secondarynamenode-lixiaojiaodeMacBook-Pro.local.out
2015-10-18 10:08:43.887 java[1871:37357] Unable to load realm info from SCDynamicStore
15/10/18 10:08:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
lixiaojiaodeMacBook-Pro:sbin lixiaojiao$

原因为官方提供的lib目录中.so文件是在32位系统下编译的，如果是但是本人的mac机器是64位系统，需要自己下载源码在64位上重新编译，由于本人下载源码尝试了很久也没成功，最终放弃了，下载了牛人编译好的64位打包程序，地址位http://yun.baidu.com/s/1c0rfIOo#dir/path=%252Fbuilder，并下载这个正常的32位hadoop程序包，http://www.aboutyun.com/thread-6658-1-1.html，下载成功后，将下载的64位build文件中的native覆盖掉lib目录下的native文件，并重新按照上面的部分进行配置。

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ ./start-all.sh

当重新执行到上面的命令时候出现下面问题：

lixiaojiaodeMacBook-Pro:sbin lixiaojiao$ ./start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
2015-10-19 21:18:29.414 java[5782:72819] Unable to load realm info from SCDynamicStore

按照网上牛人的做法还是不行，最后只有换jdk，重新安装jdk

#export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_25.jdk/Contents/Home
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home/

验证是否成功

创建input目录

lixiaojiaodeMacBook-Pro:hadoop-2.2.0 lixiaojiao$ hadoop fs -mkdir -p input

将本地文件上传到hdfs文件系统中

lixiaojiaodeMacBook-Pro:cloudcomputing lixiaojiao$ hadoop fs -copyFromLocal README.txt input

出现下面新问题

将fs.default.name中的IP地址改为127.0.0.1。

切换到share/hadoop/mapreduce目录中执行下面语句

 hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount input output

执行下面命令看是否生成output目录

 hadoop fs -ls

执行下面命令查看具体结果

 hadoop fs -cat

因此本人为了方便直接将配置好的hadoop文件copy到其他的Ubuntu系统中，直接使用scp命令，需要Ubuntu系统中开启ssh

lixiaojiaodeMacBook-Pro:cloudcomputing lixiaojiao$ scp -r hadoop-2.2.0 [email protected]:/home/lixiaojiao/software
lixiaojiaodeMacBook-Pro:cloudcomputing lixiaojiao$ scp -r hadoop-2.2.0 [email protected]:/home/lixiaojiao/software

然后通过执行之上的wordcount程序验证是否成功

时间： 2024-10-09 21:40:08

hadoop2.2环境配置的相关文章

windows7+eclipse-jee-luna-SR1a-win32-x86_64+hadoop2.6环境配置

一.hadoop集群环境配置  参见:<Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次.> Win7环境: 登录用户名:hadoop , 与Hadoop集群中的Linux环境用户统一. a.在SY-0130节点上修改hdfs-site.xml加上以下内容 ,并同步修改到其他节点.<property> <name>dfs.permissions</name> <value>false</value> 

ubuntu + hadoop2.5.2分布式环境配置

ubuntu + hadoop2.5.2分布式环境配置 我之前有详细写过hadoop-0.20.203.0rc1版本的环境搭建 hadoop学习笔记——环境搭建 http://www.cnblogs.com/huligong1234/p/3533382.html 本篇部分细节就不多说. 一.基础环境准备系统:(VirtualBox) ubuntu-12.04.2-desktop-i386.isohadoop版本:hadoop-2.5.2jdk版本:jdk-6u26-linux-i586.bin

windows7+eclipse+hadoop2.5.2环境配置

一.hadoop集群环境配置  参考我的前一篇文章(ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html)  但本人配置时还修改了如下内容(由于你的环境和我的可能不一致,可以在后面出现相关问题后再进行修改):  a.在master节点上(ubuntu-V01)修改hdfs-site.xml加上以下内容  <property>  <name>dfs.permissions</

Hadoop2.2.0分布式环境配置笔记2-编译64位hadoop源码

11.配置hadoop分布式环境!  三台机器都需要这么配置 1).将/opt/modules/hadoop-2.2.0-src重命名  mv /opt/modules/hadoop-2.2.0-src/ /opt/modules/hadoop-2.2.0-src_x32_back 2).解压64位源码 tar -zxvf /opt/modules/hadoop-2.2.0-src_x32_back/hadoop-dist/target/hadoop-2.2.0.tar.gz -C /opt/m

Hadoop2.2.0分布式环境配置笔记1-编译64位hadoop源码

我的测试环境是三台机器 分别是 Hadoop-Yarn.Hark.Com 192.168.1.200 Hadoop-Slave1.Hark.Com 192.168.1.201 Hadoop.Slave2.Hark.Com 192.168.1.202 我为了自己能充分练习hadoop 64位源码编译,所以三台机器都进行了下边的配置 环境: vmware9+centos6.4+hadoop2.2.0 0.创建hadoop帐号,大部分操作都要使用hadoop帐号的 1.关闭窗口模式 使用root账号

spark开发环境配置

以后spark,mapreduce,mpi可能三者集于同一平台,各自的侧重点有所不用,相当于云计算与高性能计算的集合,互补,把spark的基础看了看,现在把开发环境看看,主要是看源码,最近Apache Spark源码走读系列挺好的,看了些.具体环境配置不是太复杂,具体可以看https://github.com/apache/spark 1.代码下载 git clone https://github.com/apache/spark.git 2.直接构建spark 我是基于hadoop2.2.0的

Hadoop2 NameNode HA配置

Hadoop2 NameNode HA配置 Hadoop2 官方提供了两种NameNode HA的实现方式,分别基于QJM和NFS,这里以基于QJM的HDFS HA为例. 实验环境 系统版本:CentOS release 6.4 (Final) Hadoop版本:Apache Hadoop2.5.1 Hive版本:Hive 0.13.1 IP列表 IP Hostname NameNode DataNode RM NodeManager JournalNode 192.168.20.54 had1

windows下spark开发环境配置

http://www.cnblogs.com/davidwang456/p/5032766.html windows下spark开发环境配置 --本篇随笔由同事葛同学提供. 特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe.hadoop.dll等文件,前提是你已经安装了eclipse.maven.jdk等软件 spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8 我选择的spark是spark-1.4.0

hadoop-2.2.0配置eclipse插件(windows和linux平台)

目前配置eclipse插件主要有两个版本,一个是在windows下重新编译配置,另一个是在linux在重新配置编译. 下面逐步讲解在linux下编译-配置eclipse插件的过程. 环境: Ubuntu 12.04 64bit 3.2.0-29-generic eclipse-jee-luna-R-linux-gtk-x86_64.tar.gz Apache Ant(TM) version 1.8.2 JDK Version 1.7.0_67 安装前准备: Ant.jdk.eclipse.Apa