hadoop安装配置——伪分布模式

1. 安装

这里以安装hadoop-0.20.2为例

先安装java,参考这个

去着下载hadoop

解压

tar -xzf hadoop-0.20.2

2. 配置

修改环境变量

vim ~/.bashrc
export HADOOP_HOME=/home/rte/hadoop-0.20.2   #这里为实际hadoop解压的目录位置
export PATH=$PATH:$HADOOP_HOME/bin
source ~/.bashrc

配置hadoop-env.sh

vim conf/hadoop-env.sh
export JAVA_HOME=/home/rte/Software/java/jdk1.6.0_27

配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件

文件:core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

文件:mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
        </property>
</configuration>

文件:hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

3. 开启关闭

通过NameNode格式化HDFS文件系统

cd hadoop-0.20.2/conf
hadoop namenode -format

开启hadoop

cd hadoop-0.20.2/bin
sh start-all.sh

通过jps命令检查期望的hadoop进程是否运行

关闭hadoop

cd hadoop-0.20.2/bin
sh stop-all.sh

4. 参考

Running Hadoop on Ubuntu Linux (Single-Node Cluster)

hadoop三个配置文件的参数含义说明

hadoop安装配置

hadoop安装配置——伪分布模式

时间: 2024-10-25 21:09:17

hadoop安装配置——伪分布模式的相关文章

Hadoop安装&amp;单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04

一.安装Java 1.下载jdk-8u91-linux-x64.tar.gz文件,网址为:http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.安装: #选择一个安装路径,我选择的是/opt,并将下载的jdk-8u91-linux-x64.tar.gz文件复制到这个文件夹下 $ cd /opt $ sudo cp ~/Downloads/jdk-8u91-linux-x64.tar.gz -i /opt/ #解压

CentOS 7 Hadoop安装配置

前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件 再设置hostname,root权限打开/etc/hostname文件设置 从机设为Slaver.Hadoop 1.安装java jdk 并配置环境 centos 自带安装了一个jdk,如果我们要自己安装jdk并配置环境的话首先卸载掉原本的jdk 在命令行模式下健入命令:yum remove java (root用户,非root用户请在命令前加sudo)

CentOS Hadoop安装配置详细

总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoop2.7.3需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成,Master 192.168.6.220 Slave1 192.168.6.221 Slave2 192.168.6.222 2.SSH免密码登录,因为Hadoop需要通过SSH

Hadoop学习笔记0001——Hadoop安装配置

Hadoop配置主要事项 1. 保证Master和Slave能够ping通: 2. 配置/etc/hosts文件: 3. 能够ssh无密码切换各台主机: 4. 安装sun公司的jdk,在/etc/profile中设置好环境变量: 5. 下载Hadoop,安装.配置.搭建Hadoop集群: 1.Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(

&lt;JAVA&gt;Hadoop安装配置(单机)

参考文献: http://blog.csdn.net/inkfish/article/details/5168676 http://493663402-qq-com.iteye.com/blog/1515275 http://www.cnblogs.com/syveen/archive/2013/05/08/3068044.html http://www.cnblogs.com/kinglau/p/3794433.html 环境 :Vmware11下Ubuntu14.04 LTS, Hadoop

Hadoop安装配置及问题总结

学习了一下慕课网上的hadoop教程,看着很简单,但是做起来碰到的问题确实不少.搞了一个下午,总算是搞定了,本博文主要记录一下我在配置hadoop过程碰到的一些问题.对于hadoop的鼎鼎大名,想必大家都略知一二,我也是入个门,嘎嘎! http://hadoop.apache.org/ (hadoop 官网).这里介绍的比较详细. hadoop可以在这里下载,按照现在的版本已经更新到2.7了,1.x的版本和2.x的版本听说差距挺大,且学且感受吧. 1.首先将hadoop解压到 /opt $sud

Centos下Hadoop安装配置

首先声明本人的配置是根据: http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 进行修改的,因此在这里表示感谢. 在这里我自己对于原有的文章进行了修改. 原作的某些命令不适合在centos上进行使用. 以及一些不太注意的细节,在这里我提了出来. 首先在安装之前,应先建立hadoop的用户组和hadoop用户, 然后再进行以下的安装配置.这里是很多新手都忽略的地方. 1.2 环境说明 集群中包括4个节点:1个Master,

(十二)linux下hadoop安装配置

1.准备Linux环境 1.1关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off 1.2修改sudo su root vim /etc/sudoers 给hadoop用户添加执行的权限 hadoop  ALL=(ALL) ALL 关闭linux服务器的图形界面:vi /

hadoop安装配置

一.安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:192.168.1.100主机名:admin安装用户:root 二.安装JDK 安装JDK1.7或者以上版本.这里安装jdk1.7.0_79. 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1,下载jdk-7u79-linux-x64.gz,解压到/usr/java/jdk1.7.0_79. 2,在/root/.bash_pr