一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)

一、在Ubuntu下创建hadoop组和hadoop用户

增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。

1、创建hadoop用户组

2、创建hadoop用户

sudo adduser -ingroup hadoop hadoop

回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。

如果不输入密码,回车后会重新提示输入密码,即密码不能为空。

最后确认信息是否正确,如果没问题,输入 Y,回车即可。

3、为hadoop用户添加权限

输入:sudo gedit /etc/sudoers

回车,打开sudoers文件

给hadoop用户赋予和root用户同样的权限

二、用新增加的hadoop用户登录Ubuntu系统

三、安装ssh

sudo apt-get install openssh-server

安装完成后,启动服务

sudo /etc/init.d/ssh start

查看服务是否正确启动:ps -e | grep ssh

设置免密码登录,生成私钥和公钥

ssh-keygen -t rsa -P ""

此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。

下面我们将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

登录ssh

ssh localhost

退出

exit

四、安装Java环境

sudo apt-get install openjdk-7-jdk

查看安装结果,输入命令:java -version,结果如下表示安装成功。

五、安装hadoop2.4.0

1、官网下载http://mirror.bit.edu.cn/apache/hadoop/common/

2、安装

解压

sudo tar xzf hadoop-2.4.0.tar.gz

假如我们要把hadoop安装到/usr/local下

拷贝到/usr/local/下,文件夹为hadoop

sudo mv hadoop-2.4.0 /usr/local/hadoop

赋予用户对该文件夹的读写权限

sudo chmod 774 /usr/local/hadoop

3、配置

1)配置~/.bashrc

配置该文件前需要知道Java的安装路径,用来设置JAVA_HOME环境变量,可以使用下面命令行查看安装路径

update-alternatives - -config java

执行结果如下:

完整的路径为

/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

我们只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

配置.bashrc文件

sudo gedit ~/.bashrc

该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

最终结果如下图:

执行下面命,使添加的环境变量生效:

source ~/.bashrc

2)编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh

执行下面命令,打开该文件的编辑窗口

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME变量,修改此变量如下

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改后的hadoop-env.sh文件如下所示:

六、WordCount测试

单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功

/usr/local/hadoop路径下创建input文件夹

mkdir input

拷贝README.txt到input

cp README.txt input

执行WordCount

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

执行结果:

执行 cat output/*,查看字符统计结果

一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式),布布扣,bubuko.com

时间: 2024-12-09 20:51:23

一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)的相关文章

二、Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)

在Ubuntu14.04下安装Hadoop2.4.0 (单机模式)基础上配置 一.配置core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息. 编辑器中打开此文件 sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml 在该文件的<configuration></configuration>之间增加如下内容: <property&g

Ubuntu14.04下安装Hadoop2.4.0 (单机模式)

一.在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可. 如果不输入密码,回车后会重新提示输入密码,即密码不能为空. 最后确认信息是否正确,如果没问题,输入 Y,回车即可. 3.为ha

Ubuntu14.04下安装Hadoop2.5.1 (单机模式)

本文地址:http://www.cnblogs.com/archimedes/p/hadoop-standalone-mode.html,转载请注明源地址. 一.在Ubuntu下创建hadoop组和hadoop用户 1.创建hadoop用户组 sudo addgroup hadoop 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可.如果不输入密码,回车后会重新提示输入

Ubuntu 14.04下安装Hadoop2.4.0 (单机模式)

转自 http://www.linuxidc.com/Linux/2015-01/112370.htm 一.在Ubuntu下创建Hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可. 如果不输入密码,回车后

Ubuntu14.04下安装redis-3.2.0以及开机自启动

去官网下载Redis-3.2.0.tar.gz,将redis-3.2.0.tar.gz放入/opt目录下 解压redis-3.2.0.tar.gz [email protected]:/opt$ sudo tar -zxvf redis-3.2.0.tar.gz 编译redis [email protected]:/opt$ cd redis-3.2.0/ [email protected]:/opt/redis-3.2.0$ sudo make 安装 [email protected]:/op

ubuntu14.04下安装hadoop2.7.1教程

http://blog.csdn.net/ycisacat/article/details/53313833 主要是根据这位前辈的教程来的,其中有一些改动 主从机之间ssh无密码登陆 因为hadoop运行过程中需要主从机很频繁地用ssh登陆,如果没有无密码登陆会需要一直输入密码,(rp如我输多了还可能挂) (1)现在所有新用户文件夹下都是空的,至少要生成.ssh文件夹.所以在所有机下生成公钥/私钥对. $ssh-keygen -t rsa 它在/home/hadoop下生成.ssh目录,.ssh

ubuntu14.04下安装cudnn5.1.3,opencv3.0,编译caffe及matlab和python接口过程记录

已有条件: ubuntu14.04+cuda7.5+anaconda2(即python2.7)+matlabR2014a 上述已经装好了,开始搭建caffe环境. 1. 装cudnn5.1.3,参照:2015.08.17 Ubuntu 14.04+cuda 7.5+caffe安装配置 详情:先下载好cudnn-7.5-linux-x64-v5.1-rc.tgz安装包(貌似需要官网申请) 解压: tar -zxvf cudnn-7.5-linux-x64-v5.1-rc.tgz cd cuda s

ubuntu14.04下安装lec10.1过程记录

0.lec为Candence公司推出的形式验证工具,由于要学习IC后端的知识,打算在ubuntu14.04下安装一套后端工具,建立后端环境,通过练习完成后端知识的入门,安装过程记录下来,留作以后查看,如果对您有一些帮助,倍感欣慰! 1.安装源文件 >lec10.1:http://pan.baidu.com/s/1o6wqu5G 3.安装与破解 >解压lec_10.1.tgz到安装目录 >设置环境如下: #add for lec export LEC_HOME=/usr/cad/lec_1

在unbuntu 1204(32位)下安装hadoop2.2.0的一些问题

虽然在网上可以找到很多这样的step by step的教程,但是我还是遇到了很多问题.趁着一点记忆,将这些问题记录下来.安装过程参考了以下博客: http://www.cnblogs.com/lifeinsmile/p/3579218.html http://my.oschina.net/u/179537/blog/189239#OSC_h2_15 http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html 我的是双系统win7