hadoop单机模式配置

1.环境 VMware10,CentOS6.4,64位,JDK1.8 ,Hadoop2.7 需要64位Linux

2、安装JDK,Hadoop2.7需要JDK7 ,支持JDK1.8,直接解压下载的JDK并配置变量即可
(1)下载“jdk-7u79-linux-x64.gz”,放到/usr/目录下
(2)解压,输入命令,tar -zxvf jdk-7u79-linux-x64.gz
(3)编辑 vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
(4)使配置生效,输入命令,source /etc/profile或者. /etc/profile
(5)输入命令,java -version,看到显示java版本信息  jdk配置完成

3.安装Hadoop2.7
(1)下载“hadoop-2.7.0.tar.gz”,放到/usr/目录下
(2)解压,输入命令,tar -xzvf hadoop-2.7.0.tar.gz
(3)在/root/目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name 不手动创建这些目录  hadoop 也会帮助我们自动创建出来

4.配置/usr/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml

<configuration>

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.241.132:9000</value>
    </property>
    
</configuration>

5.配置/usr/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/data/datanode</value>
    </property>
   
<property>

<name>dfs.tmp.dir</name>
     <value>/root/data/tmp</value>
    </property>

<property>
      <name>dfs.replication</name>
      <value>1000</value>

</property>


</configuration>

6.配置/usr/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,不设置的话,启动不了,
export JAVA_HOME=/home/java/jdk1.7.0_79

7、配置/usr/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves,删除默认的localhost,增加1个从节点,
192.168.241.132

8.在Master服务器启动hadoop,从节点会自动启动,进入/usr/hadoop/hadoop-2.7.0目录
(1)初始化,进入bin目录 输入命令,./hdfs namenode -format
(2)全部启动在sbin  输入命令 ./start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话,输入命令,sbin/stop-all.sh
(4)输入命令,jps,可以看到相关信息

27282 SecondaryNameNode

27590 NodeManager

27434 ResourceManager
27114 DataNode
26988 NameNode

8.因为我是在公司网络环境 不能是桥接方式 所以使用的nat方式连接宿主机和虚拟机 这个部分困扰了我很久 具体做法如下

 (1)首先关闭虚拟机的iptables 命令 chkconfig iptables off/on 关闭和开启  service iptables stop/service iptables start 停止和开启 我是使用后面的这个

(2)设置虚拟机的网络 因为我们是nat方式需要做的如下  首先关闭windows的防火墙,然后点击虚拟机的     编辑--》虚拟网络编辑器--》选中VMnet-8 点击设置nat设置--》添加端口映射

我这里设置了2个端口映射分辨是 192.168.241.132:8080 tomcat端口 和192.168.241.132:50070端口

(3)然后我们在本地访问192.168.241.132:50070 就可以看到hadoop的页面了

时间: 2024-10-11 03:58:13

hadoop单机模式配置的相关文章

Hadoop单机模式的配置与安装

Hadoop单机模式的配置与安装 版权所有 前言: 由于Hadoop属于java程序,所以,安装Hadoop之前需要先安装jdk. 对于hadoop0.20.2的单机模式安装就需要在一个节点(一台主机)上运行5个节点. 分别是: JobTracker:负责Hadoop的Job任务分发和管理. TaskTracker:负责在单个节点上执行MapReduce任务. 对于Hadoop里面的HDFS的节点又有 NameNode:主节点,负责管理文件存储的名称节点 DateNode:数据节点,负责具体的文

Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)

安装ssh Hadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下: 输入“Y”进行安装并等待自动安装完成. 安装ssh完成后启动服务 以下命令验证服务是否正常启动: 可以看到ssh正常启动: 设置免密码登录,生成私钥和公钥: 在/root/.ssh中生成两个文件:id_rsa和id_rsa.pub,id_rsa为私钥,id_rsa.pub为公钥,我们将公钥id_rsa.pub追加到 authorized_keys中,因为author

Hadoop单机模式安装

需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop. 1. 添加用户及用户组 创建用户hadoop $ sudo adduser hadoop 需要输入shiyanlou的密码:shiyanlou.并按照提示输入hadoop用户的密码. 2. 添加sudo权限 将hadoop用户添加进sudo用户组 $ sudo usermod -G sudo hadoop 四.安装及配置依赖的软件包 1. 安装openssh-server.java.rsync等 $ sudo apt-g

3-1.Hadoop单机模式安装

Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试WordCount程序 1.3 实验环境 hadoop2.7.6 Linux CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有linux基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA 二.H

Hadoop单机模式安装入门(Ubuntu系统)

闲来无事,突然看到关于Hadoop集群.以前也了解过,网上找过一些关于百度,谷歌等底层hadoop集群的文档,可是面对很多陌生的技术,看不太通透.所有想自己动手虚拟机试试.经常听到这么高大上的名词,Hadoop已经成为大数据的代名词.短短几年间,Hadoop从一种边缘技术成为事实上的标准.而另一方面,MapReduce在谷歌已不再显赫.当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代. Hadoop支持三种启动集群模式,分别是单机模式,wei分布式模式,安全分布式模式.下面我做

Hadoop单机模式安装-(1)安装设置虚拟环境

网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍如何在Windows环境下设置虚拟机环境以及一些准备工作,熟悉WMware的朋友可以略过. 我所记录的笔记适合没有Linux基础的朋友跟我一起操作,同时欢迎高手参观指导. 环境约定 以下环境基于攥写时间:5th July 2015. 宿主机器:Windows 8 虚拟机环境:WMware Wrokstation 11

Hadoop单机模式安装-(2)安装Ubuntu虚拟机

网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍在虚拟机设置完毕后,如何进行Ubuntu的安装. 我所记录的笔记适合没有Linux基础的朋友跟我一起操作,同时欢迎高手参观指导. 环境约定 以下环境基于攥写时间:5th July 2015. 宿主机器:Windows 8 虚拟机环境:WMware Wrokstation 11 Ubuntu版本:Ubuntu Deskt

Hadoop单机模式部署

一.Hadoop部署模式 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的Java进程运行 完全分布式模式:真实的生产环境,搭建在完全分布式的集群环境 二.添加用户和组 $ sudo adduser hadoop                         ##创建用户hadoop $ sudo usermod -G sudo hadoop                 

hadoop本地模式配置

我使用的是VMware虚拟机,ubuntu14.04LTS,64位,已经安装java,如果不知道如何配置网上有很多教程,不再赘述,我安装的是1.6.0_30版本.建议不要安装太高版本,我原来安装了1.8版本的,尝试配置hadoop-2.6,死活都不成功,最后改成1.7版本的才配置成功. 此处再温馨提示一下,很多人使用命令:wget  http://www.us.apache....... 去下载压缩包,但是总是下载失败,原因是时间隔太久下载地址变了.在我写这篇博文的时候可以通过以下地址下载到2.