hadoop平台搭建(2.6.0)

最近闲来无事搭建了一个hadoop环境,将搭建步骤记录一下。

一.环境准备

  • 环境:VMware,xshell
  • OS: Ubuntu server(选择最简安装,只安装OpenSSH-Server)
  • 版本:hadoop-2.6.0
  • 三个节点:
 192.168.16.131      master
 192.168.16.132      node1
 192.168.16.133      node2
  • 编辑/etc/hosts文件
将节点信息添加进去(如上)
  • 建立hadoop运行账号:
groupadd hadoop               //设置hadoop用户组
useradd –s /bin/bash –d /home/wh –m wh –g hadoop –G admin //添加一个wh用户,此用户属于hadoop用户组,且具有admin权限。
passwd wh                    //设置用户zhm登录密码
su wh                        //切换到wh用户中
  • 设置权限修改sudoers
chmod u+w /etc/sudoers

vim  /etc/sudoers (添加如下东西)
   wh ALL=(ALL:ALL) ALL

chmod u-w /etc/sudoers

`二.安装jdk(选择7)

1.安装

apt-get install openjdk-7-jdk

2.环境配置

  • 编辑 .bashrc
vim .bashrc

JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64(默认安装位置)
  • 添加/etc/profile
chmod u+w /etc/profile(给予修改权限)

vim /etc/profile
#末尾添加以下配置:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-7-openjdk-amd64/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

chmod u-w /etc/profile(权限回收)
  • 查看是否安装成功
java -version

三.SSH无密码登录

1.生成master公匙

ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
cd .ssh

2.让 节点需能无密码 SSH 本机,在 节点上执行:

cat id_rsa.pub >> authorized_keys

3.使用ssh localhost检查是否能登录自身(三个都用)

4.使用master节点ssh另外两个节点

在node1,node2节点执行:

scp [email protected]:~/.ssh/id_dsa.pub ./master_dsa.pub
cat master_dsa.pub >> authorized_keys

5.测试是否成功

  • 在master节点
ssh  node1(node2)

注意:第一次需要输入node1(node2)节点密码,第二次不用。

四.配置hadoop-2.6.0

  • 下载hadoop-2.6.0:http://pan.baidu.com/s/1c24XcEs
  • 通过Xftp将文件从windows传入Ubuntu 解压到/home/wh下
  • 修改core-site.xml(都在/home/wh/hadoop/etc/hadoop/下):
<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>
   </property>
   <property>
      <name>hadoop.tmp.dir</name>
      <value>file:/home/wh/hadoop/tmp</value>
      <description>Abase for other temporary directories.</description>
   </property>
</configuration>
  • 修改hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/wh/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/wh/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
  • 修改mapred-site.xml(cp mapred-site.xml.template mapred-site.xml)
<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
   <property>
      <name>mapreduce.jobhistory.address</name>
      <value>master:10020</value>
   </property>
   <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>master:19888</value>
   </property>
</configuration>
  • 修改yarn-site.xml
<configuration>
   <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
   </property>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
</configuration>
  • 修改slaves(删除localhost)
node1
node2
  • 修改hadoop-env.sh
 JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
  • 将hadoop文件复制到各个节点,并在slaves节点执行解压操作:
tar -zcf ~/hadoop.master.tar.gz ./hadoop
scp ./hadoop.master.tar.gz node1:/home/wh
sudo tar -zxf ~/hadoop.master.tar.gz -C /home/wh
  • 启动hadoop(首次启动需要master执行namenode的格式化):
bin/hdfs namenode -format
  • 启动hadoop:
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver
  • 通过命令 jps 可以查看各个节点所启动的进程。正确的话,在 Master 节点上可以看到

    NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程在 Slave

    节点可以看到 DataNode 和 NodeManager 进程.

五.运行hadoop实例

  • 首先创建 HDFS 上的用户目录:
 bin/hdfs dfs -mkdir -p /user/wh
  • 将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中:
bin/hdfs dfs -mkdir input
bin/hdfs dfs -put /home/wh/hadoop/etc/hadoop/*.xml input
  • 运行mapreduce作业:
hadoop jar /home/wh/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep \             input output ‘dfs[a-z.]+‘

六.关闭hadoop

sbin/stop-yarn.sh
sbin/stop-hdfs.sh
sbin/mr-jobhistory-daemon.sh stop historyserver
时间: 2024-10-29 15:26:47

hadoop平台搭建(2.6.0)的相关文章

Hadoop平台搭建(1)

摘要:本文主要讲述在Linux环境下搭建hadoop平台的准备工作,内容涵盖Linux中用户的添加与权限管理.更改软件源.更新软件安装工具apt.安装vim编辑器.安装SSH并配置无密码登录. 环境说明:文章中采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似,Linux其他系列操作系统适当做相应调整. 1.添加用户 对Linux环境下的开发,为了安全起见,一般情况下不直接在root用户下进行.所以,我们首先添加一个新的用户名,并设置新用户密码. 命令:sudo user

Hadoop 平台搭建

一.在Linux中安装JDK并配置环境变量 输入javac 查看是否已安装java环境如果没有安装 sudo apt-get install openjdk-7-jdk再次检测 javac修改配置参数 vim /etc/profile 发现没有安装vim编辑器 apt-get install vim安装完成后 vim /etc/profile 配置环境变量,参照安装过程中路径,具体如下export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64export

cocos2d-x v3.0的window平台搭建和编译成andriod程序

首先添加这个地址到系统环境变量,path 然后打开CMD,输入如下语句 现在就可以创建一个新项目了 这样一个空的cocos2d-x v3.0的项目就创建好了 接下来编译andriod程序 先在系统环境变量中添加一个NDK_ROOT 然后打开cmd 然后就开始编译了 接下来打开ADT中的eclipse 再添加andriod文件夹到工程里 cocos2d-x v3.0的window平台搭建和编译成andriod程序,布布扣,bubuko.com

Hadoop集群大数据平台搭建

Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式:单机模式.伪分布模式.完全分布模式,只要掌握了完全分布模式,也就是集群模式的搭建,剩下的两种模式自然而然就会用了,一般前两种模式一般用在开发或测试环境下,Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式. 硬件选择 须知: 分布式环境中一个服务器就是一个节点 节点越多带来的是集群性能的提升 一个Hadoop集群环境中,NameNode,SecondaryNameNode和DataNo

Wince6.0应用开发:一、平台搭建

由于需要参加一个比赛,于是就接触了WinCE6.0的应用开发,可是所看到的资料大部分都是关于WinCE6.0系统的开发,或者在系统之上的驱动开发.像我这种只在WinCE6.0上利用厂商提供的类库进行应用开发的真实伤不起. 下面介绍开发环境: 我的自己的系统是WIN7的系统 其实假如你和我一样的话只开发应用的话,其实根本不需要按照网上那样下差不多4G的东西.需要做的是, 一.装个vs2008(记得包含智能设备开发这一项,vs2010是不支持智能设备开发的.当然你也可以选择vs2005,这随便你.v

cocos2d-x 3.0 WIN7+VS2012 安卓平台搭建

***************************************转载请注明出处:http://blog.csdn.net/lttree****************************************** 题外话: 暑假,重拾cocos2d-x,一年没有接触了,更新到3.0,搭建安卓环境不需要cygwin了.简单了好多呀,就是新建的时候有点麻烦= =. 正文: 一.前期准备工作: 准备几个软件: 1.JDK    地址:http://www.oracle.com/te

用好Lua+Unity,让万金6.0平台搭建性能飞起来——Lua与C#交互篇

前言万金6.0平台搭建论坛:haozbbs.com Q1446595067 在看了uwa之前发布的<Unity项目常见Lua解决方案性能比较>,决定动手写一篇关于lua+unity方案的性能优化文.整合lua是目前最强大的unity热更新方案,毕竟这是唯一可以支持ios热更新的办法.然而作为一个重度ulua用户,我们踩过了很多的坑才将ulua上升到一个可以在项目中大规模使用的状态.事实上即使到现在lua+unity的方案仍不能轻易的说可以肆意使用,要用好,你需要知道很多.因此,这篇文章是从一堆

Hadoop完全云计算平台搭建

一.以之前搭建的为云计算平台为主节点 角色分配 Master:NameNode/DataNode ResourceManager/NodeManager Slave1:DataNode NodeManager Slave2:DataNode NodeManager 1. 修改hostname 2. 修改hosts,添加每个节点的ip地址以及对应的hostname 3. ping测试 二. ssh免密码登录 [[email protected] .ssh]# ssh-keygen -t rsa #

原生态hadoop2.6平台搭建

 hadoop2.6平台搭建 一.条件准备 软件条件: Ubuntu14.04 64位操作系统,jdk1.7 64位,Hadoop 2.6.0 硬件条件: 1台主节点机器,配置:cpu 8个,内存32G,硬盘200G 5台从节点机器,配置均为:cpu 4个,内存16G,硬盘200G 各个节点IP如下: 服务器名字 Ip地址 备注(为方便操作将hostname改为如下) Hd-Name Node 192.168.0.10 master Hd-Data Node 1 192.168.0.16 sla