测试搭建成功的单机hadoop环境

1.关闭防火墙service iptables stop,(已经这是开机关闭的忽略)

2.进入hadoop目录,修改hadoop配置文件(4个)

core-site.xml

<configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost.localdomain:8020</value>
  </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/data/tmp</value>
  </property>
</configuration>

 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>192.168.41.134</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>640800</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
	<name>mapreduce.jobhistory.address</name>
	<value>192.168.41.134:10020</value>
    </property>
    <property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>192.168.41.134:19888</value>
    </property>
</configuration>

3.开启服务

  1.开始namenode节点

sbin/hadoop-daemon.sh start namenode

  2.开始datanode节点

sbin/hadoop-daemon.sh start datanode

  3.开启resourcemanager

sbin/yarn-daemon.sh resourcemanager

  4.开启nodemanager

sbin/yarn-daemon.sh stop nodemanager

  5.开启日志服务

sbin/mr-jobhistory-daemon.sh start historyserver

  6.运行测试程序(最后一个单词output不可以存在,如果可以换个名字)

bin/yarn jar     share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar       wordcount         /user/hub/mapreduce/wordcount/input          /user/hub/mapreduce/wordcount/output

3.查看HDFS的使用情况

http://192.168.41.134:50070

  3.1 虚拟机下面查看HDFS的文件(命令与linux类似,前面要加上-)

bin/hdfs dfs -ls /user/hub/...

  3.2 删除文件的时候 -rm -R可以直接删除文件夹

4.查看应用程序的运行情况

http://192.168.41.134:8088

5.查看hadoop官方文档

http://hadoop.apache.org

6.查看hadoop的历史版本(全)

http://archive.apache.org/dist/

  

时间: 2024-10-09 14:22:50

测试搭建成功的单机hadoop环境的相关文章

win7上搭建ruby on rails 开发环境

对于接触一种新技术.新语言的新手来说,搭建学习环境永远是个艰难的话题,尤其是在国内这种网络下,难度更是大增. 在经历了大约十多个小时的艰苦奋战后,本人终于在win7搭建成功ruby+rails+mysql环境,本文没有详细的步骤,折腾的时候根本没闲情截图写博客,同时也根本不想再折腾一遍,写本文的初衷只是想给即将和还在折腾童鞋建议. 上策:不要在win7上折腾: 可以使用MAC OS.Linux上搭建这个环境难度相对很小,遇到问题解决方法也很简单.或者搭建虚拟机也是建议的方式. 中策:ruby+r

Hadoop单机Hadoop测试环境搭建

Hadoop单机Hadoop测试环境搭建: 1. 安装jdk,并配置环境变量,配置ssh免密码登录 2. 下载安装包hadoop-2.7.3.tar.gz 3. 配置/etc/hosts 127.0.0.1 YARN001 4. 解压缩hadoop-2.7.3.tar.gtz到/home/zhangzhenghai/cluster目录下 5. 配置etc/hadoop/hadoop-env.sh 配置JAVA_HOME环境变量 export JAVA_HOME=/home/zhangzhengh

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)【转】

[转自:]http://blog.csdn.net/hitwengqi/article/details/8008203 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文. 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Hadoop在处理海量数据分析方面具有独天优势.今天花时间在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式是Hadoop的默认模.当配置文件为空时,Hadoop完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群.

单机伪分布式Hadoop环境搭建

1.安装和配置JDK 具体操作见笔记 http://www.cnblogs.com/DreamDriver/p/6597178.html 2.创建Hadoop用户 为Hadoop创建一个专门的用户,可以在系统安装的时候就创建,也可以在系统安装好之后用如下命令创建: # groupadd hadoop-user # useradd -g hadoop-user hadoop # passwd hadoop 3.下载安装Hadoop 4.配置SSH (1)生成密钥对时,执行如下命名 # ssh-ke

独立模式的Hadoop环境搭建

对于Hadoop来说,最主要的是两个方面,一个是分布式文件系统HDFS,另一个是MapReduce计算模型,搭建Hadoop的运行环境主要分为三种:独立模式环境.伪分布式环境.完全分布式环境.    一.独立模式:也叫单机模式.这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统,没有守护进程,所有程序都运行在同一个JVM中,利于调试和测试,主要用于开发环境.    二.伪分布式:hadoop运行在单机上,但是模拟了一个小的集群,运行在不同的JVM中,用不同的Java

基于CentOS与VmwareStation10搭建hadoop环境

基于CentOS与VmwareStation10搭建hadoop环境     目  录 1.         概述.... 1 1.1.     软件准备.... 1 1.2.     硬件准备.... 1 2.         安装与配置虚拟机.... 2 2.1.     创建虚拟机.... 2 2.1.1.     创建虚拟机节点1.. 2 2.1.2.     创建虚拟机节点2.. 4 2.1.3.     创建虚拟机节点3.. 4 2.2.     安装操作系统CentOS6.0..

伪分布式模式的Hadoop环境搭建

一.本文说明:     本次测试在一台虚拟机系统上进行伪分布式搭建.Hadoop伪分布式模式是在单机上模拟Hadoop分布式,单机上的分布式并不是真正的伪分布式,而是使 用线程模拟分布式.Hadoop本身是无法区分伪分布式和分布式的,两种配置也很相似.唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均 是一个机器. 二.环境说明:      操作系统:Cent Os 6.7      hadoop版本:hadoop-2.7.2      JDK版本:jdk1.8_77     备注:

linux xshell jdk hadoop(环境搭建) 虚拟机 安装(大数据搭建环境)

[hadoop是2.6.5版本  xshell是6版本 jdk是1.8.0.131 虚拟机是CentOS-6.9-x86_64-bin-DVD1.iso vmware10] 1.创建虚拟机 第一步:在VMware中创建一台新的虚拟机.如图2.2所示. 图2.2 第二步:选择"自定义安装",然后单击"下一步"按钮,如图2.3所示.  图2.3 第三步:单击"下一步" 按钮,如图2.4所示.  图2.4 第四步:选择"稍后安装操作系统&qu