hadoop单机

Hadoop安装教程——单机模式

Hadoop是MapReduce的开源实现，网上有很多相关的文章，但是很多不全，有的有点乱,本人Ｕｂｕｎｔｕ小白，Ｈａｄｏｏｐ初学者，根据别人的资料和我自己安装的经验介绍它的单机模式安装方法，欢迎拍砖。

部分资料翻译自http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/#configuring-ssh，感谢。

实验平台：Ubuntu 10.04，Hadoop-1.0.2，JDK1.7

（注：最新的Ｕｂｕｎｔｕ12。04已经出了，作者费尽周折也没能安装成功，可能作者机器的原因只能安装10.04，12.04无论是安装或者从10.04升级完成后，都会进不去系统，哪位朋友遇到相同问题或者解决相关问题，可以站内我，谢谢）好了，扯远了。下面言归正传。

step 1. 为Hadoop增加用户,记住设定的密码

Java代码

  1. $ sudo addgroup hadoop
  2. $ sudo adduser --ingroup hadoop hduser

step 2. ssh的安装与设置

由于Hadoop用ssh 通信，因此首先要安装SSH Server

Java代码

  1. $ sudo apt-get install ssh

下面进行免密码登录设定，su 命令执行后，输入刚才设定的密码

Java代码

  1. $ su - hduser
  2. $ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
  3. $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  4. $ ssh localhost

生成用于SSH的密钥 ，完成后请登入确认不用输入密码，（第一次登入需按enter键，第二次就可以直接登入到系统。

Java代码

  1. ~$ ssh localhost
  2. ~$ exit
  3. ~$ ssh localhost
  4. ~$ exit

step 3. 安装java

笔者采用的是离线的tar，解压到/opt/java1.7.0/

Java代码

  1. •$ tar zxvf jdk1.7.0.tar.gz
  2. •$ sudo mv jdk1.7.0 /opt/java/

配置环境

Java代码

  1. •$ sudo gedit /opt/profile

在 "umask 022"之前输入 as below

export JAVA_HOME=/opt/java/jdk1.7.0

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JRE_HOME/bin:$JAVA_HOME/bin

step 4. 下载安装Hadoop

•下载 Hadoop-1.0.2，并解开压缩文件到 /opt 路径。

Java代码

  1. •$ tar zxvf Hadoop-1.0.2.tar.gz
  2. •$ sudo mv Hadoop-1.0.2 /opt/
  3. •$ sudo chown -R hduser:hadoop /opt/Hadoop-1.0.2

step 5. 设定 hadoop-env.sh

•进入 hadoop 目录，做进一步的设定。我们需要修改两个档案，第一个是 hadoop-env.sh，需要设定 JAVA_HOME, HADOOP_HOME, PATH 三个环境变量。

/opt$ cd Hadoop-1.0.2/

/opt/Hadoop-1.0.2$ cat >> conf/hadoop-env.sh << EOF

贴上以下信息

export JAVA_HOME=/opt/java/jdk1.7.0

export HADOOP_HOME=/opt/Hadoop-1.0.2

export PATH=$PATH:$HADOOP_HOME/bin

EOF

这里我有一点不明白，明明/etc/profile里已经指定了JAVA_HOME，这里为什么还需要指定?

step 6. 设定 hadoop配置文件

•編輯 $HADOOP_HOME/conf/core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/tmp/hadoop/hadoop-${user.name}</value>

</property>

</configuration>

• 編輯 HADOOP_HOME/conf/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

• 編輯 HADOOP_HOME/conf/mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

step 7. 格式化HDFS

•以上我们已经设定好 Hadoop 单机测试的环境，接着让我们来启动 Hadoop 相关服务，格式化 namenode， secondarynamenode, tasktracker

Java代码

  1. •$ cd /opt/Hadoop-1.0.2
  2. •$ source /opt/Hadoop-1.0.2/conf/hadoop-env.sh
  3. •$ hadoop namenode -format

执行上面的语句会报空指针错误，因为默认 hadoop.tmp.dir= tmp/hadoop/hadoop-${user.name}

如果你要修改的话可以

Java代码

  1. •/opt/hadoop-1.0.2/conf$ sudo gedit core-site.xml

<!-- In: conf/core-site.xml -->

<property>

<name>hadoop.tmp.dir</name>

<value>/tmp/hadoop/hadoop-${user.name}</value>

<description>A base for other temporary directories.</description>

</property>

给此路径路径设定权限

Java代码

  1. $ sudo mkdir -p /tmp/hadoop/hadoop-hduser
  2. $ sudo chown hduser:hadoop /tmp/hadoop/hadoop-hduser
  3. # ...and if you want to tighten up security, chmod from 755 to 750...
  4. $ sudo chmod 750 /tmp/hadoop/hadoop-hduser

在执行的格式化就会看到

执行画面如：

[: 107: namenode: unexpected operator

12/05/07 20:47:40 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = seven7-laptop/127.0.1.1

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 1.0.2

STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0.2 -r 1304954; compiled by ‘hortonfo‘ on Sat Mar 24 23:58:21 UTC 2012

************************************************************/

12/05/07 20:47:41 INFO util.GSet: VM type       = 32-bit

12/05/07 20:47:41 INFO util.GSet: 2% max memory = 17.77875 MB

12/05/07 20:47:41 INFO util.GSet: capacity      = 2^22 = 4194304 entries

12/05/07 20:47:41 INFO util.GSet: recommended=4194304, actual=4194304

12/05/07 20:47:41 INFO namenode.FSNamesystem: fsOwner=hduser

12/05/07 20:47:41 INFO namenode.FSNamesystem: supergroup=supergroup

12/05/07 20:47:41 INFO namenode.FSNamesystem: isPermissionEnabled=true

12/05/07 20:47:41 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100

12/05/07 20:47:41 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)

12/05/07 20:47:41 INFO namenode.NameNode: Caching file names occuring more than 10 times

12/05/07 20:47:42 INFO common.Storage: Image file of size 112 saved in 0 seconds.

12/05/07 20:47:42 INFO common.Storage: Storage directory /tmp/hadoop/hadoop-hduser/dfs/name has been successfully formatted.

12/05/07 20:47:42 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at seven7-laptop/127.0.1.1

************************************************************/

step 7. 启动Hadoop

•接着用 start-all.sh 来启动所有服务，包含 namenode, datanode,

$HADOOP_HOME/bin/start-all.sh

Java代码

  1. •opt/hadoop-1.0.2/bin$ sh ./start-all.sh

执行画面如：

•starting namenode, logging to /opt/hadoop-1.0.2/logs/hadoop-hduser-namenode-seven7-laptop.out

localhost:

localhost: starting datanode, logging to /opt/hadoop-1.0.2/logs/hadoop-hduser-datanode-seven7-laptop.out

localhost:

localhost: starting secondarynamenode, logging to /opt/hadoop-1.0.2/logs/hadoop-hduser-secondarynamenode-seven7-laptop.out

starting jobtracker, logging to /opt/hadoop-1.0.2/logs/hadoop-hduser-jobtracker-seven7-laptop.out

localhost:

localhost: starting tasktracker, logging to /opt/hadoop-1.0.2/logs/hadoop-hduser-tasktracker-seven7-laptop.out

step 8. 安装完毕测试

•启动之后，可以检查以下网址，来观看服务是否正常。 Hadoop 管理接口 Hadoop Task Tracker 状态 Hadoop DFS 状态

•http://localhost:50030/ - Hadoop 管理接口

至此

Ｈａｄｏｏｐ单节点安装完成，下面将在次单节点集群上进行作业

未完待续ing

分享到：

时间： 2024-10-13 12:19:21

hadoop单机的相关文章

Hadoop单机模式安装入门（Ubuntu系统）

闲来无事,突然看到关于Hadoop集群.以前也了解过,网上找过一些关于百度,谷歌等底层hadoop集群的文档,可是面对很多陌生的技术,看不太通透.所有想自己动手虚拟机试试.经常听到这么高大上的名词,Hadoop已经成为大数据的代名词.短短几年间,Hadoop从一种边缘技术成为事实上的标准.而另一方面,MapReduce在谷歌已不再显赫.当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代. Hadoop支持三种启动集群模式,分别是单机模式,wei分布式模式,安全分布式模式.下面我做

#hadoop#单机（伪分布）安装及测试

tips:这个部署完全在以root用户操作,系统为ubuntu14.04,使用了Oracle JDK7_u55替换原来的OpenJDK 安装过程: 安装Java: 从自己的宿主机ftp服务器下载包: cd /usr/lib/jvm wget ftp://192.168.42.110/jdk-7u55-linux-x64.tar.gz  tar xvf jdk-7u55-linux-x64.tar.gz mv jdk1.7.0_55/ java-7-sun 编辑bashrc: vi ~/.bash

Hadoop单机模式安装

需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop. 1. 添加用户及用户组 创建用户hadoop $ sudo adduser hadoop 需要输入shiyanlou的密码:shiyanlou.并按照提示输入hadoop用户的密码. 2. 添加sudo权限 将hadoop用户添加进sudo用户组 $ sudo usermod -G sudo hadoop 四.安装及配置依赖的软件包 1. 安装openssh-server.java.rsync等 $ sudo apt-g

Hadoop：Hadoop单机伪分布式的安装和配置

http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在docker中配置的hadoop单机伪分布式[Hadoop:Hadoop单机伪分布式的安装和配置 ],并且在docker只有root用户,所有没有权限问题存在. 这里直接在linux下配置,主要是为了能用netbeans ide调试hadoop程序,并且使用的用户就是开机时登录的用户pika. 本教程配置

Hadoop单机Hadoop测试环境搭建

Hadoop单机Hadoop测试环境搭建: 1. 安装jdk,并配置环境变量,配置ssh免密码登录 2. 下载安装包hadoop-2.7.3.tar.gz 3. 配置/etc/hosts 127.0.0.1 YARN001 4. 解压缩hadoop-2.7.3.tar.gtz到/home/zhangzhenghai/cluster目录下 5. 配置etc/hadoop/hadoop-env.sh 配置JAVA_HOME环境变量 export JAVA_HOME=/home/zhangzhengh

Hadoop单机模式的配置与安装

Hadoop单机模式的配置与安装 版权所有 前言: 由于Hadoop属于java程序,所以,安装Hadoop之前需要先安装jdk. 对于hadoop0.20.2的单机模式安装就需要在一个节点(一台主机)上运行5个节点. 分别是: JobTracker:负责Hadoop的Job任务分发和管理. TaskTracker:负责在单个节点上执行MapReduce任务. 对于Hadoop里面的HDFS的节点又有 NameNode:主节点,负责管理文件存储的名称节点 DateNode:数据节点,负责具体的文

Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount（1）

安装ssh Hadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下: 输入“Y”进行安装并等待自动安装完成. 安装ssh完成后启动服务 以下命令验证服务是否正常启动: 可以看到ssh正常启动: 设置免密码登录,生成私钥和公钥: 在/root/.ssh中生成两个文件:id_rsa和id_rsa.pub,id_rsa为私钥,id_rsa.pub为公钥,我们将公钥id_rsa.pub追加到 authorized_keys中,因为author

虚拟机下Linux系统Hadoop单机/伪分布式配置:Hadoop2.5.2+Ubuntu14.04(半原创)

系统: Ubuntu 14.04 64bit Hadoop版本: Hadoop 2.5.2 (stable) JDK版本: JDK 1.6 虚拟机及Ubuntu安装 1. 下载并安装 VMware workstation 11 下载地址:https://my.vmware.com/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation/11_0?wd=%20VMware%20workstation%2011%20&is

沉淀，再出发——在Ubuntu Kylin15.04中配置Hadoop单机/伪分布式系统经验分享

在Ubuntu Kylin15.04中配置Hadoop单机/伪分布式系统经验分享 一.工作准备 首先,明确工作的重心,在Ubuntu Kylin15.04中配置Hadoop集群,这里我是用的双系统中的Ubuntu来配制的,不是虚拟机.在网上有很多配置的方案,我看了一下Ubuntu的版本有14.x,16.x等等,唯独缺少15.x,后来我也了解到,15.x出来一段时间就被下一个版本所替代了,可能有一定的问题吧,可是我还是觉得这个版本的用起来很舒服,但是当我安装了Ubuntu kylin15.04之后