Hadoop2伪分布模式安装

参照Apache的官方文档,Hadoop2还是蛮好搭建的,但是搭建好后,MapReduce的JobHistory页面却没法进去,这是因为JobHistory没有配置正确或者服务没有启动起来。本文将梳理伪分布模式的搭建过程,并给出配置文档,让你不再为搭建这些过程烦恼。

准备

  1. 安装程序获取:从官网上下载,从Apache
    Download Mirrors
    选择一个镜像位置,然后选择一个Hadoop版本,下载hadoop-2.*.*.tar.gz
  2. 安装jdk:
    • sudo apt-get autoremove openjdk*
    • 从Oracle官网上下载jdk1.6及以上版本(1.6和1.7的可用,1.8的没测试过),并进行相应的配置
  3. ssh无密登陆本地机器
    #安装ssh
    $sudo apt-get install openssh-server
    $sudo apt-get install openssh-client
    #配置
    $ssh-keygen   #然后一直按回车键即可
    $cd .ssh
    $cp id_rsa.pub authorized_keys
    $ssh localhost #此时不需要输入密码,证明配置成功

安装与配置

  1. 安装

    我的安装路径为/usr/local/hadoop-2/hadoop2,数据的存放路径为/usr/local/hadoop-2
    下面的过程是将hadoop安装包存放在/usr/local/hadoop-2/hadoop2
    $cd /usr/local
    $sudo mkdir hadoop-2
    $sudo chown yang:yang hadoop-2/ #将hadoop-2的所属用户和用户组均改成yang,你在配置的时候,将yang可以改成你的用户名即可
    $cd hadoop-2
    $cp ~/下载/hadoop-2.4.0.tar.gz ./
    $tar -zxvf hadoop-2.4.0.tar.gz
    $mv hadoop-2.4.0/ hadoop2
    
  2. 配置

    可以参考我的配置文件进行配置https://github.com/yanghaogn/Hadoop/tree/master/Hadoop2/ConfPseudoDistributedMode将该git工程下下来后,用Beyond
    Compare
    比较本地的配置和我的配置文件差别即可进行配置,配置中的yang为我的计算机名,你改成你的电脑名或者localhost即可。etc/hadoop/下的配置项主要为:mapred-site.xml、core-site.xml、hdfs-site.xml、yarn-site.xml、hadoop-env.sh、yarn-site.xml,sbin/下的配置项主要是start-all.sh和stop-all.sh,在其中加入jobhistory的启动和关闭脚本

    为了方便使用,在~/.bashrc中添加下面的内容,这样在运行hadoop相关命令的时候,就不用进入Hadoop目录而可以直接使用了export PATH=$PATH:/usr/local/hadoop-2/hadoop2/bin:/usr/local/hadoop-2/hadoop2/sbin

运行

$hadoop namenode -format #首次启动的时候需要

$start-all.sh

#计算pi

$hadoop jar /usr/local/hadoop-2/hadoop2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar pi 2 10

在浏览器上打开http://yang:8088即可看到刚刚运行的计算pi的MapReduce作业,此处yang为我的电脑名,改成你的电脑名即可

时间: 2024-10-07 20:53:32

Hadoop2伪分布模式安装的相关文章

HBase的伪分布模式安装

HBase是依赖Hadoop的数据存储系统,可以实现大数据(过亿条记录)的存储,进行并行化处理.在特定的场景下HBase有自己的用武之地. 下面讲述如何进行伪分布模式安装 1.设置环境变量 我使用的HBase版本是hbase-0.94.7-security.tar.gz,安装在机器hadoop0的/usr/local目录下.首先解压缩.重命名.设置环境变量HBASE_HOME. tar -xzvf hbase-0.94.7-security.tar.gz mv hbase-0.94.7-secu

伪分布模式安装hadoop

准备工具: 虚拟机:VMware Linux系统:CentOS hadoop-1.1.2.tar.gz jdk-7u75-linux-x64.gz CentOS的网络配置 1.设置主机中VMware Network Adapter VMnet1的IPv4协议如下: 2.修改虚拟机虚拟网络的VMnet1的ip 3.CentOS中网络配置: 3.重启网卡: net service restart 伪分布模式安装步骤 1.1 设置ip地址 执行命令 service network restart 验证

hbase学习系列1——伪分布模式安装

1 在hadoop上解压缩.重命名.设置环境变量HBASE_HOME,参考hadoop学习系列2 2 修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下 export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true #export HBASE_CLASSPATH=/usr/local/hadoop/conf(不知是否有效,HadoopInAction中看到的) 3 修改文件hbase-site.xml,修改

Hadoop学习笔记(3)hadoop伪分布模式安装

为了学习这部分的功能,我们这里的linux都是使用root用户登录的.所以每个命令的前面都有一个#符号. 伪分布模式安装步骤: 关闭防火墙 修改ip地址 修改hostname 设置ssh自动登录 安装JDK 安装hadoop 1. 关闭防火墙 具体的操作过程参见博文:我用过的Linux命令--关闭防火墙 2. 修改ip地址 具体的操作过程参见博文: 3. 修改hostname 具体的操作过程参见博文:我用过的Linux命令--修改主机名

2018-08-13期 Hbase伪分布模式安装部署

说明: Hbase部署模式有以下三种 (1)本地模式:本地模式不依赖于HDFS存储,将文件存储到操作系统本地目录,好处是我们不需要搭建HDFS集群,即可学些HBase相关命令及客户端操作. (2)伪分布模式:一台机器完成Hbase所有组件的配置,需要依赖HDFS分布式存储 (3)全分布模式:多机部署,一般情况下Hmaster和HregionServer分布在不同的服务器,需要依赖底层HDFS分布式存储. 一.安装介质 hbase-0.96.2-hadoop2-bin.tar.gz 二.安装JDK

CentOS 7下Hadoop2.6伪分布模式安装

1.Hadoop核心配置文件: # gedit core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> # gedit hdfs-site.xml <configuration> <

hadoop1.2.1伪分布模式安装教程

1:软件环境准备 1.1Hadoop: 我们使用hadoop Release 1.2.1(stable)版本,下载链接: http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-1.2.1/ 我们选择hadoop-1.2.1-bin.tar.gz文件下载. 1.2Java: Java在这里使用的是jdk1.7版本的,当然也可以使用1.6的,下载链接: http://www.oracle.com/technetwork/java/javase/

linux服务器伪分布模式安装hadoop-1.1.2

1:环境准备 1台linux服务器, hadoop安装包(apache官方网下载) jdk1.6+ 2:安装jdk ,配置好环境变量(etc/profile),java -version 测试正确进行下一步. 3:配置ssh免密码登录 cd ~ ssh-keygen -t rsa 产生密钥,位于~/.ssh目录下 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  把id_rsa.pub公钥文件cp到 authorized_ keys ssh localho

hadoop: hbase1.0.1.1 伪分布安装

环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一.下载解压 到官网 http://hbase.apache.org 下载合适的版本(hbase与hadoop的版本要匹配,否则可能运行不起来),解压到某个目录即可,本文中的解压目录为 /Users/jimmy/app/hbase-1.0.1.1 二.设置环境变量 ... export HBASE_HOME=/Users/jimmy/app/hbase-1.0.1.