hadoop2.7.2 伪分布式

1. /etc/profile  JAVA_HOME, HADOOP_HOME

export JAVA_HOME=
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2,hadoop-env.sh  JAVA_HOME

3,

<?xml    version="1.0"?>
<!--    core-site.xml    -->
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost/</value>
        </property>
</configuration>
<?xml    version="1.0"?>
<!--    hdfs-site.xml    -->
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>
<?xml    version="1.0"?>
<!--    mapred-site.xml    -->
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
<?xml    version="1.0"?>
<!--    yarn-site.xml    -->
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>localhost</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

4,#ssh localhost

sudo apt-get install ssh

ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa

ssh localhost

5,hdfs namenode -format

#start_hadoop.sh

#!bin/bash

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

#stop_hadoop.sh

#!bin/bash
mr-jobhistory-daemon.sh    stop historyserver
stop-yarn.sh
stop-dfs.sh

6,

hadoop fs -mkdir -p /user/$USER

7,

namenode:   http://localhost:50070/

resource manager:  http://localhost:8088/

history server:  http://localhost:19888/

时间: 2024-12-24 10:51:26

hadoop2.7.2 伪分布式的相关文章

Dockerfile完成Hadoop2.6的伪分布式搭建

在 <Docker中搭建Hadoop-2.6单机伪分布式集群>中在容器中操作来搭建伪分布式的Hadoop集群,这一节中将主要通过Dokcerfile 来完成这项工作. 1 获取一个简单的Docker系统镜像,并建立一个容器. 1.1 这里我选择下载CentOS镜像 docker pull centos 1.2 通过docker tag命令将下载的CentOS镜像名称换成centos,并删除老标签 docker tag docker.io/centos centosdocker rmr dock

在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码,通过编译源码并安装一.需要准备的软件:1.JDK和GCC    设置JAVA_HOME:        vim ~/.bashrc        在最后增加:export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31,保存退出.        使设置立即生效:source ~/.bashrc        测试JAVA_HOME是否设置成功,输出了上面设置的路径表示成功:    

琐碎-hadoop2.2.0伪分布式和完全分布式安装(centos6.4)

环境是centos6.4-32,hadoop2.2.0 伪分布式文档:http://pan.baidu.com/s/1kTrAcWB 完全分布式文档:http://pan.baidu.com/s/1hqIeBGw 和1.x.0.x有些不同,特别是yarn.

hadoop2.2.0伪分布式搭建

一.准备linux环境 1.更改VMware适配器设置 由于是在单机环境下进行学习的,因此选择适配器模式是host-only模式,如果想要联网,可以选择桥接模式,配置的方式差不多. 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.85.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络

CentOS5.4 搭建Hadoop2.5.2伪分布式环境

简介: Hadoop是处理大数据的主要工具,其核心部分是HDFS.MapReduce.为了学习的方便,我在虚拟机上搭建了一个伪分布式环境,来进行开发学习. 一.安装前准备: 1)linux服务器:Vmware 上CentOS6.4 mini安装 2) JDK:jdk-7u65-linux-x64.gz 3) SSH:ssh client 4) YUM源配置妥当:yum list查看 5)Hadoop:hadoop-2.5.2.tar.gz 二.环境配置 1)linux环境基本设置: vi /et

hadoop2.4.1伪分布式搭建

1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.244.131. 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows

hadoop2.5.1伪分布式部署

可参阅官方文档 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html 文件下载: http://mirrors.hust.edu.cn/apache/hadoop/common/ 注:可直接使用2.5.2或2.6.0版本   都解决了2.5.1中不稳定bug 1       伪分布式部署 以测试通过的为例 Linux version 2.6.32-431.el6.x86

Java笔记--CenOS6.5搭建hadoop2.7.1伪分布式环境

一.前言 很以前就搭建过hadoop的伪分布式环境,为了搭建环境特意弄的双系统,还把毕业论文给毁了.不过当时使用的是 hadoop1.x 的,而且因为一些原因,就搭建了环境,而没继续学习了.现在开始,准备好好的学习一下hadoop 二.Hadoop 简介 Hadoop 是Apache软件基金会旗下的一个开源分布式计算平台 是云计算中 PaaS(平台即服务)一层的实现 HDFS 和 MapReduce 共同组成了Hadoop分布式系统体系结构的核心 注:hadoop 具体介绍,留待以后说,现在主要

Hadoop2.X版本伪分布式安装详细介绍【非抄袭,原创!】

网上hadoop单节点安装文章真是一搜一大堆,可以这样说,全是垃圾,那些博主也不知道自己安装过没有..反正就一堆的copy,我实在看不下去了.必须把我总结的写出来,如果你有任何问题随时联系我! E-Mail: [email protected] 下面我以2.2.0为例子!注意这是单节点!!伪分布式!!不喜勿看 Hadoop2.2.0(Yarn)安装详细过程 一.运行一个单机版模式的hadoop伪分布式平台 1.软件环境 1.操作系统: 由于linux的开源性.安全性等因素现有的hadoop集群多