Ubuntu14.04安装Hadoop2.5.2(单机模式)

一、Hadoop的运行模式

单机模式(standalone)

单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

伪分布模式(Pseudo-Distributed Mode)

伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。

全分布模式(Fully Distributed Mode)

Hadoop守护进程运行在一个集群上。

二、创建hadoop组和hadoop用户

增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。

1、创建hadoop用户组

sudo addgroup hadoop

groupdel users 删除组users

2、创建hadoop用户

 sudo adduser -ingroup hadoop hdp

回车后会提示输入新的UNIX密码,这是新建用户hdp的密码,输入回车即可。如果不输入密码,回车后会重新提示输入密码,即密码不能为空。最后确认信息是否正确,如果没问题,输入 Y,回车即可。

3、为hadoop用户添加权限

输入:sudo gedit /etc/sudoers ,回车,

打开sudoers文件,给hadoop用户赋予和root用户同样的权限。

三、用新增加的hdp用户登录Ubuntu系统

命令行输入 su hpd 并输入密码。

或者

直接切换图形操作系统。

四、安装SSH

sudo apt-get install openssh-server

安装完成后,启动服务:sudo /etc/init.d/ssh start

并查看服务是否正确启动:ps -e | grep ssh

作为一个安全通信协议,使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥:

ssh-keygen -t rsa -P ""

第一次操作时会提示输入密码,按Enter直接过,这时会在~/home/{username}/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。

现在将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端的用户)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

现在可以登入ssh确认以后登录时不用输入密码:

ssh localhost

登出:exit

第二次登录:

登出:exit

五、安装Java环境

安装jdk:sudo apt-get install openjdk-7-jdk

查看安装结果,输入命令:java -version,结果如下表示安装成功。

六、安装hadoop2.5.2

1、下载

官网下载http://mirror.bit.edu.cn/apache/hadoop/common/

下载hadoop-2.5.2-src.tar.gz 并放到你希望的目录中,

我是放到/software/中。

2、安装

解压sudo tar xzf hadoop-2.5.2.tar.gz

修改文件夹名,并且赋予用户对该文件夹的读写权限。

sudo mv hadoop-2.5.2 hadoop
sudo chmod 774 hadoop

3、配置.bashrc文件

配置.bashrc文件前需要知道Java的安装路径,用来设置JAVA_HOME环境变量,可以使用下面命令行查看安装路径:

update-alternatives --config java

执行后,完整路径为:

/usr/lib/jvm/java-7-openjdk-i386/jre/bin/java

我们只取前面的部分/usr/lib/jvm/java-7-openjdk-i386

配置.bashrc文件

sudo gedit ~/.bashrc

该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存关闭编辑窗口

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386

export HADOOP_INSTALL=/software/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

使添加的环境变量生效:source ~/.bashrc

4、编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh

执行下面命令,打开该文件的编辑窗口

sudo gedit /software/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME变量,修改此变量如下:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386

单机模式安装完成。

七、WordCount测试

下面通过执行hadoop自带实例WordCount验证是否安装成功。

/software/hadoop路径下创建input文件夹

mkdir input

拷贝README.txt到input

cp README.txt input

执行WordCount

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

执行结果:

执行 cat output/*,查看字符统计结果。

时间: 2024-10-10 17:34:34

Ubuntu14.04安装Hadoop2.5.2(单机模式)的相关文章

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码,通过编译源码并安装一.需要准备的软件:1.JDK和GCC    设置JAVA_HOME:        vim ~/.bashrc        在最后增加:export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31,保存退出.        使设置立即生效:source ~/.bashrc        测试JAVA_HOME是否设置成功,输出了上面设置的路径表示成功:    

ubuntu14.04安装hadoop2.6.0(伪分布模式)

版本:虚拟机下安装的ubuntu14.04(x64),hadoop-2.6.0 下面是hadoop2.6.0的官方教程(英文): http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation hadoop下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/ 选择hadoo

Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置

在Ubuntu下创建hadoop用户组和用户 hadoop的管理员最好就是以后要登录桌面环境运行eclipse的用户,否则后面会有拒绝读写的问题出现.当然不是也有办法办法解决. 1. 创建hadoop用户组; [html] view plaincopy sudo addgroup hadoop 2. 创建hadoop用户; [html] view plaincopy sudo adduser -ingroup hadoop hadoop 3. 给hadoop用户添加权限,打开/etc/sudoe

64位Ubuntu14.04安装hadoop2.6.0

在前文中,编译hadoop 是我们几乎已经配置好了jdk环境 这一文是在上文的基础上继续配置 1.将编译好的源码中的一些文件复制到我们所下载的hadoop/lib/native下替换掉 主要是因为下载的hadoop文件是在32位系统下编译的,而本人的是64位系统 2.配置ssh无密码登陆 ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式. 1. 创建ssh-key,,这里我们采用rsa方式; ssh-keygen -t rsa -P "" 2. 进入~/.ssh/目

Ubuntu16.04安装Hadoop2.7.3教程

Ubuntu16.04安装Hadoop2.7.3 教程 参考厦门大学数据库实验室 http://dblab.xmu.edu.cn/blog/install-hadoop/,遇到相关的地方有改动. 作者:秦景坤 日期:2017-4-20 主要内部包括 环境配置和本地和伪分布 本文档适合于原生Hadoop2,参考相关文档,亲自动手实践来一步一步搭建环境.转载请指明出处. 环境 本教程使用Ubuntu16.04 64位作为系统环境,包括桌面版和server版,其他版本系统,若有差异请自行百度安装教程系

Ubuntu14.04下Hadoop2.2.0集群搭建

系统版本: master: Ubuntu 14.04  salve1: Ubuntu 14.04 hadoop: hadoop 2.2.0 1.系统配置以及安装SSH无密码登陆环境(master&slaves): 修改本机(master)和子节点(slaveN)机器名:打开/etc/hostname文件 sudo gedit /etc/hostname (修改后需重启才能生效) 修改host文件(映射各个节点IP): sudo gedit /etc/hosts 在后面添加内容为: 172.22.

ubuntu14.04安装vim

今天安装完ubuntu14.04后开始编辑文件,使用vim时提示: 使用apt-get install vim尝试安装: 装完系统后默认已经装了vim了,但是路径不对 解决方法: 1.找到vim在什么位置 #whereis vim 2.做链接 #ln -s /usr/bin/vim.tiny /usr/bin/vim 这时vim就可以正常使用了 ubuntu14.04安装vim,布布扣,bubuko.com

==原创==Ubuntu14.04安装OPENCV3.0流程及遇到的问题

Ubuntu14.04安装OPENCV3.0流程及遇到的问题 [email protected] http://www.cnblogs.com/mcjj 作者:马春杰杰 2017年6月14日22:38:23 我的电脑环境: Ubuntu14.04LTS + CUDA8.0 + CUDNN5.0 + Nvidia-367.44驱动 + OPENCV3.0-beta 我是按照这篇文章来的: Ubuntu14.04安装OpenCV3.0 - Linux系统教程 首先是刚开始的时候就遇到了错误,Unsu

一.ubuntu14.04安装、亮度设置、显卡设置等一体化讲解

一.ubuntu14.04安装 安装步骤很简单的,相信你只要知道并且决定安装ubuntu,你就不会在安装上有问题,下载网址 http://www.ithome.com/html/soft/81539.htm.下载iso后我使用u盘刻录的,刻录用的软件是ultro,这个不说. 二.安装上之后,屏幕亮度很亮,并且无法调节,而且风扇狂转,声音很大,这是由于ubuntu初始默认设置和显卡切换问题. 1.调节亮度 打开终端黑窗口,快捷启动ctrl+alt+t,另外装上ubuntu后需要设置root,因为安