基于centos6.5 hadoop 伪分布式安装

步骤1:修改IP 地址和主机名:

vi /etc/sysconfig/network-scripts/ifcfg-eth0

如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-eth0” ,可以 cd /etc/sysconfig/network-scripts/ 这个目录查看以ifcfg-***开头的文件,就是你的网卡文件。再进行编辑 vi /etc/sysconfig/network-scripts/ifcfg-***

主要修改项为:

BOOTPROTO="static"   ###

IPADDR="192.168.100.70"   ###

NETMASK="255.255.255.0"  ###

GATEWAY="192.192.100.1"    ###

BOOTPROTO 修改为静态

IPADDR 要修改的具体ip

NETMASK 网关

GATEWAY 网关

主机名修改:

Vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=hadoop1

hostname 查看主机名

步骤2:修改主机名与ip地址对应关系

vim /etc/hosts

192.168.100.70 hadoop1

步骤3:关闭防火墙

查看防护墙状态

service iptables status

关闭

service iptables stop

查看防火墙开机启动状态

chkconfig iptables --list

关闭开机启动

chkconfig iptables off

步骤4:安装jdk 首先下载jdk7 jdk-7u79-linux-x64.gz

将jdk-7u79-linux-x64.gz 复制到/usr/local/目录下

解压:tar -zxvf jdk-7u79-linux-x64.gz 解压成功后会在/usr/local/目录下产生 java-1.7.0_79目录。

配置环境变量:

vim /etc/profile

在文件最下面添加如下内容:

export JAVA_HOME=/usr/local/java-1.7.0_79

exprot PATH=$PATH:$JAVA_HOME/bin

保存退出

使上面文件立即生效:

source /etc/profile

验证安装是否成功:

java -version

如果出现jdk1.7之类字样代表安装成功

步骤5:安装hadoop2.7.1

         上传hadoop安装包到 /usr/local/hadoop-2.7.1.tar.gz

         并进行解压

         tar -zxvf hadoop-2.7.1.tar.gz

只有解压之后才可以操作以下步骤。

伪分布式需要修改5个配置文件

3.1配置hadoop

第一个:hadoop-env.sh(所在目录/usr/local/hadoop-2.7.1/etc/hadoop/)

vim hadoop-env.sh

#第27行

export JAVA_HOME=/usr/local/java-1.7.0_79

以下几个xml都在/usr/local/hadoop-2.7.1/etc/haoop/目录下

第二个:core-site.xml

<!-- 制定HDFS的老大(NameNode)的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop1:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop-2.7.1/tmp</value>

</property>

备注:这里的hadoop1是计算机名

第三个:hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

第五个:yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop1</value>

</property>

<!-- reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

//备注这里的hadoop1是计算机名

3.2将hadoop添加到环境变量

vim /etc/proflie

export JAVA_HOME=/usr/local/java/jdk1.7.0_79

export HADOOP_HOME=/usr/local/hadoop-2.7.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改完成后profile,使之立即生效命令:

source /etc/profile

步骤6:验证与测试

1格式化namenode(是对namenode进行初始化)

hdfs namenode -format (hadoop namenode -format)

2启动hadoop

先启动HDFS

sbin/start-dfs.sh

再启动YARN

sbin/start-yarn.sh

3验证是否启动成功

使用jps命令验证

3504 DataNode

3386 NameNode

3813 ResourceManager

4087 NodeManager

3664 SecondaryNameNode

4206 Jps

http://192.168.100.70:50070 (HDFS管理界面)

http://192.168.100.70:8088 (MR管理界面)

测试hdfs:

 

上传文件进行测试

hadoop fs -put /usr/local/hadoop/hadoop-2.7.1.tar.gz hdfs://hadoop1:9000/hadoop

“/usr/local/hadoop/hadoop-2.7.1.tar.gz”是本地一个文件,“hdfs://hadoop1:9000/hadoop”代表hdfs上的一个文件位置

下载文件测试 :

hadoop fs -get  hdfs://hadoop1:9000/hadoop /home/hd

测试yarn

首先进入hadoop的安装目录下的/share/hadoop/mapreduce/ ,

再使用hadoop-mapreduce-examples-2.7.1.jar

新建一个文件words文件内容如下,并上传到hdfs中

Hello tom

Hello jer

Hello jack

Hello kety

Hello tom

上传到hdfs;

hadoop fs -put /usr/hadoop/words hdfs://hadoop1:9000/words

hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount hdfs://hadoop1:9000/words hdfs://hadoop1:9000/wordresult

下载hdfs://hadoop1:9000/wordresult 可以查看内容

Hello 5

jack   1

jer      1

kety   1

tom   2

代表hadoop伪分部式安装成功

时间: 2024-10-14 06:26:02

基于centos6.5 hadoop 伪分布式安装的相关文章

Hadoop伪分布式安装

本文介绍的主要是Hadoop的伪分布式的搭建以及遇到的相关问题的解决,做一下记录,jdk的安装这里就不做太多的介绍了,相信大家根据网上的安装介绍很快就能安装成功. 环境 操作系统 Oracle VM VirtualBox-rhel-6.4_64   本机名称 yanduanduan   本机IP 192.168.1.102   JDK 1.7.0_79   hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材

hadoop伪分布式安装【翻译自hadoop1.1.2官方文档】

1.hadoop支持的平台: GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点. win32是一个开发平台,分布式操作还没有在win32系统上很好的测试, 所以它不被作为生产环境. 2.安装hdoop需要的软件: linux和windows下安装hadoop需要的软件: 2.1从sun官网下载的1.6的jdk必须被安装. 2.2ssh 必须被安装 and ssh协议必须使用hadoop脚本用来管理远程的hadoop进程. 2.

Window 10 WSL 下hadoop 伪分布式安装

Window 10 下的WSL子系统的安装可以参考之前的文章:window10 WSL子系统上设置redis开发环境 有时候,为了在window系统上进行hadoop开发和测试,可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04,所以下面的安装以此为参考 下面是具体的配置步骤: 1:JDK的安装配置:这是必不可少的步骤 2:ssh的安装配置:Ubuntu SSH安装及配置免密码登录,安装完后可以用 ssh localhost来验证是否成功 3:hadoop伪

win7+Ubuntu双系统安装以及hadoop伪分布式安装

首先安装双系统进行伪分布式实验,安装win7+ubuntu双系统: 1.右键单击“我的电脑”进入“管理”,双击“存储”,再双击“磁盘管理”,在D盘位置右击“压缩卷”,分出一个大小为50G的磁盘空间,然后格式化,之后再删除卷,作为安装ubuntu系统所用. 2.下载安装easyBCD软件,新建一个Neo Grub启动,然后在点击设置,添加一下语句: title install ubuntu 12.04 LTS root(hd0,5) kernel(hd0,5)/vmlinuz boot=caspe

macbook 下hadoop伪分布式安装

1 准备原材料 1.1  jdk 1.8.0_171 1.2 Hadoop 2.8.3 2 免密登陆配置(否则安装过程需要不断输入密码) 2.1 开启macbook 允许远程登录 系统偏好设置--共享--选中 远程登录(远程登录状态为绿灯时,说明OK) p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #000000; background-color: #ffffff } span.s1 { } p.p1 {

Hbase伪分布式安装

前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内容 export JAVA_HOME=/home/cauchy/software/jdk export HADOOP_HOME=/home/cauchy/software/hadoop export HBASE_HOME=/home/cauchy/software/hbase export HBAS

centos安装hadoop(伪分布式)

在本机上装的CentOS 5.5 虚拟机, 软件准备:jdk 1.6 U26 hadoop:hadoop-0.20.203.tar.gz ssh检查配置 Linux代码   [[email protected] ~]# ssh-keygen -t  rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root

Hadoop学习笔记_4_实施Hadoop集群 --伪分布式安装

实施Hadoop集群 --伪分布式安装 准备与配置安装环境 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便.ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷.如果只是实验用途,硬盘大约预留20-30G空间. 以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http://blog.csdn.net/zjf280441589/article/details/175485

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述. (一)Hadoop伪分布安装 1.简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义 伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布 分布:如果Hadoop对应的Java进程运行在多台物理机器上,称为分布.[集群就是有主有从] 伪