Hadoop2.2.0单节点安装

一:环境准备:基于Windows下的VMware
Player4.0.3中的ubuntu12.04-64server.

  1. 下载免费的VMware Player并安装好;

  2. 下载 免费的Ubuntu 12.04 server版并在VMware中安装好;


二:基础安装:

  1. 执行如下命令升级部分软件和把ssh安装好:

(1) sudo apt-get update;

(2) sudo apt-get upgrade;

(3) sudo apt-get install openssh-server;

  1. 有两种方法可以安装Oracle JDK(本文采用第一种)。

方法一:通过webupd8team自动安装,执行命令如下:

(1)   sudo apt-get install python-software-properties

(2)   sudo add-apt-repository ppa:webupd8team/java

(3)   sudo apt-get update

(4)   sudo apt-get install oracle-java6-installer

方法二:手动安装JDK1.6

(1)   下载jdk1.6http://www.oracle.com/technetwork/java/javase/downloads/jdk6u37-downloads-1859587.html,选择jdk-6u37-linux-x64.bin。

(2)   执行chmod +x jdk-6u37-linux-x64.bin增加可执行权限;

(3)   ./ jdk-6u37-linux-x64.bin直接解压即可,建议放在/opt目录下。

(4)   然后将解压后的bin目录加入到PATH环境变量中即可。

  1. 创建hadoop用户。

(1)   sudo addgroup hadoop

(2)   sudo adduser --ingroup hadoop hduser

  4.编辑/etc/sudoers文件,为hadoop用户添加权限

sudo vim /etc/sudoers

给hadoop用户赋予root相同的权限

hadoop ALL=(ALL:ALL) ALL

注意:/etc/sudoers文件可能为readonly文件,修改后使用“:wq!”保存

  5.建立SSH信任关系,登录localhost就不需要密码

$ cd /home/hduser

$ ssh-keygen -t rsa -P ""    #直接回车

$cat .ssh/id_rsa.pub >>.ssh/authorized_keys

注:可通过ssh localhost命令验证。

三:正式安装:

注:以下操作以hduser登录进行操作。

  1. 下载hadoop2.2版本。地址:http://apache.dataguru.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz

  2. 执行tar zxf hadoop-2.2.0.tar.gz解压至当前目录/home/hduser目录下。

  3. mv hadoop-2.2.0 hadoop

四:配置hadoop:

  1. 编辑/home/hduser/hadoop/etc/hadoop/hadoop-env.sh

替换exportJAVA_HOME=${JAVA_HOME}为如下:

exportJAVA_HOME=/usr/lib/jvm/java-6-oracle

  1. 编辑/home/hduser/hadoop/etc/hadoop/core-site.xml,在<configuration>中添加如下:

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hduser/hadoop/tmp/hadoop-${user.name}</value>

<description>A base for other
temporarydirectories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:8010</value>

<description>The name of the default file system.  A URI
whose

scheme and authority determine the FileSystem implementation. 
The

uri‘s scheme determines the config property (fs.SCHEME.impl) naming

the FileSystem implementation class. The uri‘s authority is used
to

determine the host, port, etc. for a
filesystem.</description>

</property>

备注:配置了/home/hduser/hadoop/tmp/这个目录,必须执行mkdir
/home/hduser/hadoop/tmp/创建它,否则后面运行会报错。

  1. 编辑/home/hduser/hadoop/etc/hadoop/mapred-site.xml:

(1)   mv
/home/hduser/hadoop/etc/hadoop/mapred-site.xml.template/home/hduser/hadoop/etc/hadoop/mapred-site.xml

(2)   在<configuration>中添加如下:

<property>

<name>mapred.job.tracker</name>

<value>localhost:54311</value>

<description>The host and port that the MapReduce job tracker
runs

at.  If "local", thenjobs are run in-process as a single map

and reduce task.

</description>

</property>

<property>

<name>mapred.map.tasks</name>

<value>10</value>

<description>As a rule of thumb, use 10x the number of
slaves(i.e., number of tasktrackers).

</description>

</property>

<property>

<name>mapred.reduce.tasks</name>

<value>2</value>

<description>As a rule of thumb, use 2x the number of
slaveprocessors (i.e., number of tasktrackers).

</description>

</property>

  1. 编辑/home/hduser/hadoop/etc/hadoop/hdfs-site.xml,在<configuration>中添加如下:

<property>

<name>dfs.replication</name>

<value>1</value>

<description>Default block replication.

The actual number of replications can be specified when the file
iscreated.

The default is used if replication is not specified in create time.

</description>

</property>

五:运行Hadoop

在初次运行Hadoop的时候需要初始化Hadoop文件系统,命令如下:

$cd /home/hduser/hadoop/bin

$./hdfs namenode -format

如果执行成功,你会在日志中(倒数几行)找到如下成功的提示信息:

common.Storage: Storage
directory/home/hduser/hadoop/tmp/hadoop-hduser/dfs/name has been successfully
formatted.

运行命令如下:

$cd /home/hduser/hadoop/sbin/

$./start-dfs.sh

注:该过程需要多次输入密码, 如果不想多次输入密码,可先用ssh建立信任。

[email protected]:~/hadoop/sbin$ jps

4266 SecondaryNameNode

4116 DataNode

4002 NameNode

注:用jps查看启动了三个进程。

$./start-yarn.sh

[email protected]:~/hadoop/sbin$ jps

4688 NodeManager

4266 SecondaryNameNode

4116 DataNode

4002 NameNode

4413 ResourceManager

 

六:查看Hadoop资源管理器

http://192.168.128.129:8088/,将其中的192.168.128.129替换为你的实际IP地址。

时间: 2024-10-09 11:25:54

Hadoop2.2.0单节点安装的相关文章

在Ubuntu下配置运行Hadoop2.4.0单节点配置

还没有修改hosts,请先按前文修改. 还没安装java的,请按照前文配置. (1)增加用户并设立公钥: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser su - hduser cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys ssh localhost exit   (2)把编译完的hadoop复制到/usr/local目录,并修改目录权限 cp –r /root

hadoop2.5.0单节点下MR运行WordCount

参考:http://hadoop.apache.org/docs/r2.5.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Maven和WordCount代码: <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common

Hadoop2.2.0多节点分布式安装及测试

众所周知,hadoop在10月底release了最新版2.2.很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得.这其中主要分为两类: 1.单节点配置 这个太简单了,简单到只要懂点英语,照着网上说的做就ok了.我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥- 2.多节点配置 这个就是我要重点说明的,老实说网络上说的的确是多节点,但不是真正的分布式部署- 我们为什么要用hadoop?因为hadoop是一个分布式系统基础架构,我们可以在不了解分布式底层细节的情况下,开发分布式

一、hadoop单节点安装测试

一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题.而现在的hadoop更是形成了一个生态体系,如图: 上图大体展示了hadoop的生态体系,但并不完整.总而言之,随着hadoop越来越成熟,也会有更多地成员加入hadoop生态体系中. hadoop官方网站:http://

Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装

 Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapReduce而开发的一系列上层应用软件. hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨越多台计算机的分布式文件系统.目前支持的超大文件的范围为从MB级至PB级. MapReduce是一种可用于数据处理的编程模型,基于MapReduce模型的程序本质上都是并行运行的.基于MapReduce

vertica单节点安装

准备环境: 1.centos 7.0镜像 2.vertica-9.1.1-1.x86_64.RHEL6.rpm 安装过程: 1.安装CentOS 7.0 注意:挂载的文件系统必须是ext4,不能是默认的xfs! 2.关闭防火墙 [[email protected] ~]# systemctl disable firewalld [[email protected] ~]# systemctl stop firewalld 3.设置selinux为disable [[email protected

如何将Rancher 2.1.x 从单节点安装迁移到高可用安装

Rancher提供了两种安装方法,即单节点安装和高可用安装.单节点安装可以让用户快速部署适用于短期开发或PoC的Rancher 2.x,而高可用部署则明显更适合Rancher的长期部署.  要点须知 针对开源用户,对于从单个节点迁移到HA的工作,Rancher Labs不提供官方技术支持. 以防在此过程中出现问题,您应该熟悉Rancher架构以及故障排除的方法. 前期准备 为了顺利将单个节点Rancher安装迁移到高可用性安装,您必须做如下准备: 您需要运行Rancher的2.1.x版本以及RK

Redis02——Redis单节点安装

Redis单节点安装 一.Redis的数据类型 string hash list set zset 二.安装 2.1.下载 wget http://download.redis.io/releases/redis-5.0.5.tar.gz 2.2.解压 tar -xf redis-5.0.5.tar.gz 2.3.安装 make make install PREDIX=/opt/redis 2.4.修改环境变量 vim /etc/profile export REDIS_HOME:/opt/re

Hadoop-2.6.0伪分布--安装配置hbase

Hadoop-2.6.0伪分布--安装配置hbase 1.用到的hadoop与hbase: 2.安装hadoop: 具体安装看这篇博文: http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3.解压hbase: 结果: 4.修改hbase 文件权限为一般用户权限: 5.设置环境变量: 配置内容: 保存配置: 6.进入配置文件目录: 7