1.1伪分布式安装

以下的安装说明适用于Mac、Hadoop2.9.0

一、安装前提

  1. 支持的平台

    GNU/Linux可以作为开发、生产运行环境,在GNU/Linux部署的集群可以支持2000+个节点。

    也支持windows平台。

  2. 依赖的软件

    Java,Hadoop2.7以上版本要求Java版本7以上;

    安装了ssh,并且sshd是运行状态,hadoop脚本需要使用ssh远程管理Hadoop后台进程。

二、下载安装包

下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/

三、安装

1、准备

  • 解压缩hadoop-2.9.0.tar.gz
  • 配置Java环境变量

    修改etc/hadoop/hadoop-env.sh ,添加如下内容:

    # set to the root of your Java installation
    export JAVA_HOME=/usr/java/latest
  • JAVA_HOME需要根据本机的实际路径进行配置,如:
    export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home
  • 执行如下命令,查看hadoop脚本的使用说明
    $ bin/hadoop
    Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
      CLASSNAME            run the class named CLASSNAME
     or
      where COMMAND is one of:
      fs                   run a generic filesystem user client
      version              print the version
      jar <jar>            run a jar file
                           note: please use "yarn jar" to launch
                                 YARN applications, not this command.
      checknative [-a|-h]  check native hadoop and compression libraries availability
      distcp <srcurl> <desturl> copy file or directories recursively
      archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
      classpath            prints the class path needed to get the
                           Hadoop jar and the required libraries
      credential           interact with credential providers
      daemonlog            get/set the log level for each daemon
      trace                view and modify Hadoop tracing settings 
    
    Most commands print help when invoked w/o parameters.

四、配置

hadoop支持三种运行模式:

本地(独立)模式:Local (Standalone) Mode

伪分布式模式:Pseudo-Distributed Mode

分布式模式:Fully-Distributed Mode

伪分布式模式配置

Hadoop支持单节点运行伪分布式模式集群,hadoop后台进程在各自单独的Java进程里运行。

1.配置HDFS

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
2.配置ssh无密码登录

上面提到,hadoop脚本需要使用ssh远程管理Hadoop后台进程。所以,即使是伪分布式模式,如果没有配置无密码登录,那么每次启动hadoop服务,都会要求输入用户密码。

执行下面的命令,如果提示输入密码,需要继续配置,否则已经配置了无密码登录。

$ ssh localhost 

执行下面的命令,配置ssh无密码登录:

  $ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

说明:authorized_keys文件的权限必须是0600。

3.启动HDFS并测试

3.1 格式化文件系统

 $ bin/hdfs namenode -format 

3.2 启动NameNode、DataNode

$ sbin/start-dfs.sh 

日志默认路径:$HADOOP_LOG_DIR,缺省路径:$HADOOP_HOME/logs。

3.3 通过web界面查看NameNode:

默认地址:http://localhost:50070/

3.4 创建执行MapReduce job需要的HDFS目录:

  $ bin/hdfs dfs -mkdir /user
  $ bin/hdfs dfs -mkdir /user/<username>

3.5 复制文件到分布式文件系统:

$ bin/hdfs dfs -put etc/hadoop input

3.6 运行样例:

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar grep input output ‘dfs[a-z.]+‘ 

3.7 查看样例运行结果:

复制到本地查看

  $ bin/hdfs dfs -get output output
  $ cat output/*

或者直接在分布式文件系统中查看:

$ bin/hdfs dfs -cat output/* 

3.8 可以运行下面的命令关闭dfs:

$ sbin/stop-dfs.sh 
4.YARN单节点模式配置

4.1 配置etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4.2 启动ResourceManager、NodeManager:

$ sbin/start-yarn.sh 

4.3 通过web界面查看ResourceManager:

默认地址:http://localhost:8088/

4.4 可以运行下面的命令关闭YARN后台进程:

$ sbin/stop-yarn.sh 

原文地址:https://www.cnblogs.com/pugongying017/p/9616095.html

时间: 2024-11-05 22:52:16

1.1伪分布式安装的相关文章

Hbase伪分布式安装

前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内容 export JAVA_HOME=/home/cauchy/software/jdk export HADOOP_HOME=/home/cauchy/software/hadoop export HBASE_HOME=/home/cauchy/software/hbase export HBAS

Zookeeper 初体验之——伪分布式安装(转)

原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目.Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等.Zookeeper 接口简单,开发人员不必过多地纠结在分布式系统编程

HBase基础和伪分布式安装配置

一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 列族(column family),列的集合. 一张表中有多个行健,一个行健读取出来的是一条记录,列族和MySQL中的列差不多,但是它是列的集合 HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的. HBase表中的数据存储在本地磁盘上的时候,每个列族单独一个作为文件存储. 上图表

Hadoop伪分布式安装

本文介绍的主要是Hadoop的伪分布式的搭建以及遇到的相关问题的解决,做一下记录,jdk的安装这里就不做太多的介绍了,相信大家根据网上的安装介绍很快就能安装成功. 环境 操作系统 Oracle VM VirtualBox-rhel-6.4_64   本机名称 yanduanduan   本机IP 192.168.1.102   JDK 1.7.0_79   hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材

Hadoop学习笔记_4_实施Hadoop集群 --伪分布式安装

实施Hadoop集群 --伪分布式安装 准备与配置安装环境 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便.ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷.如果只是实验用途,硬盘大约预留20-30G空间. 以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http://blog.csdn.net/zjf280441589/article/details/175485

Hadoop日记Day3---Hadoop的伪分布式安装

导录 比较仔细的读者可能发现,注意本章的图片又不太对劲的地方,那就是linux中的主机名有的是hadoop,有的是localhost,是由于使用的不同的电脑编辑的本文章,有的电脑上并没有修改主机名,一直使用默认的localhost主机名,不影响大家的学习,只是主机名不一样,其他的都一样,大家注意一下就可以了,自己是什么主机名,就把他看成自己的主机名就可以了,文章中的localhost和hadoop只是不同的主机名,他们的目录结构都是一样的.还有就是一下的软件下载地址:http://pan.bai

(转)Zookeeper 初体验之——伪分布式安装

Zookeeper 初体验之——伪分布式安装 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目.Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等.Zookeeper 接口简单,开发人员不必过多地纠结在分布式系统编程难于处理的同步和一致性问题上,你可以使用 Zookeeper 提供的现成(of

hadoop伪分布式安装【翻译自hadoop1.1.2官方文档】

1.hadoop支持的平台: GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点. win32是一个开发平台,分布式操作还没有在win32系统上很好的测试, 所以它不被作为生产环境. 2.安装hdoop需要的软件: linux和windows下安装hadoop需要的软件: 2.1从sun官网下载的1.6的jdk必须被安装. 2.2ssh 必须被安装 and ssh协议必须使用hadoop脚本用来管理远程的hadoop进程. 2.

【Hadoop】在Ubuntu系统下安装Hadoop单机/伪分布式安装

Ubuntu 14.10 前方有坑: 由于之前的分布式系统电脑带不动,所以想换一个伪分布式试一试.用的是Virtualbox + Ubuntu 14.10 .结果遇到了 apt-get 源无法更新的情况,以及安装包安装不全的情况.只好咬一咬牙,又重新把系统给更新一边. apt-get 源无法更新解决方案:传送门 首先先备份源列表: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup 用编辑器打开: sudo gedit /etc/

伪分布式安装core-site.xml和hdfs-site.xml配置文件

hadoop的伪分布式安装流程如下所示: 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件. core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary