安装hadoop2.7.3

hadoop3与hadoop2.x的变化很大,hadoop3很多东西现在做起来太麻烦了,这里先安装hadoop2.7.3

此贴学习地址http://www.yiibai.com/t/mapreduce/article-14.html,不过有些改动

1.下载解压hadoop包

wget http://apache.claz.org/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

tar zxf hadoop-2.7.3.tar.gz

mv hadoop-2.7.3/* to hadoop

2.设置hadoop

vi ~/.bashrc

HADOOP_HOME=/home/xiabin/hadoop/hadoop
HADOOP_MAPRED_HOME=$HADOOP_HOME
HADOOP_COMMON_HOME=$HADOOP_HOME
HADOOP_HDFS_HOME=$HADOOP_HOME
YARN_HOME=$HADOOP_HOME
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

保存退出文件

source ~/.bashrc让bashrc文件立即生效

3.进入hadoop的 etc/hadoop文件

cd $HADOOP_HOME/etc/hadoop

将export JAVA_HOME={JAVA_HOME}改成自己的java路径

我这里:JAVA_HOME=/usr/java/jdk1.8.0_112

4.编辑以下文件来配置Hadoop

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml

5.修改core-site.xml

core-site.xml 包含以下信息 
用于Hadoop实例的端口号
存储器分配用于文件系统
内存限制用于存储数据
读/写缓存大小
打开core-site.xml,在标签之间添加以下属性

编辑:core-site.xml在configuration中加入

<property>
<name>fs.default.name</name>
<value>hdfs://0.0.0.0:9000</value>
</property>

6.hdfs-site.xml 包含以下信息

复制数据的值
NameNode的路径
本地文件系统的数据节点的路径(要存储Hadoop下文的地方)

在它的configuration中间加入

dfs.replication 1   dfs.name.dir file:///home/hadoop/hadoopinfra/hdfs/namenode   dfs.data.dir file:///home/hadoop/hadoopinfra/hdfs/datanode

这是namenode和datanode的地址,这些地址可以根据自己的喜好配置

7.yarn-site.xml

此文件用于配置yarn 到Hadoop 。打开yarn-site.xml 文件,并在标记之间添加以下属性。

yarn.nodemanager.aux-services mapreduce_shuffle

8.mapred-site.xml

此文件用于指定我们正在使用MapReduce框架。默认情况下,Hadoop含有yarn-site.xml模板。首先,需要将文件从mapred-site.xml 复制。使用以下命令复制模板 mapred-site.xml 文件。

cp mapred-site.xml.template mapred-site.xml

在configuration中加入:mapreduce.framework.name yarn

9.设置名称节点使用命令 “hdfs namenode -format” 如下

$ cd ~
$ hdfs namenode -format

验证Hadoop dfs(节点)

$ start-dfs.sh,正常启动

第3步 - 验证Yarn 脚本(管理节点的平台)
以下命令用于启动yarn 脚本。执行该命令将启动yarn 守护进程。
$ start-yarn.sh

10测试访问

IP:50070(如果在服务器上面配置的hadoop记得开启50070端口的防火墙)

访问IP:8088

11配置hdfs的下的文件

新建用户: hdfs dfs -mkdir /waterlufei

新建目录: hdfs dfs -mkdir /waterlufei/hadoop

新建目录: hdfs dfs -mkdir /waterlufei/hadoop/input

将dream.txt放入到input文件夹下: hdfs dfs -put dream.txt /waterlufei/hadoop/input

查看hdfs下所有的目录: hdfs dfs -ls /

查看hdfs下某个目录:hdfs dfs -ls /waterlufei/hadoop/input

时间: 2024-10-06 14:32:12

安装hadoop2.7.3的相关文章

64位ubuntu上安装 hadoop-2.4.0

完全参考:http://blog.csdn.net/cruise_h/article/details/18709969 这上面的安装教程 伪分布配置: http://my.oschina.net/mynote/blog/93735 64位ubuntu上安装 hadoop-2.4.0,布布扣,bubuko.com

CentOS上安装Hadoop2.7,添加数据节点,运行wordcount

安装hadoop的步骤比较繁琐,但是并不难. 在CentOS上安装Hadoop2.7 1. 安装 CentOS,注:图形界面并无必要 2. 在CentOS里设置静态IP,手工编辑如下4个文件 /etc/hosts /etc/sysconfig/netwok /etc/hostname /etc/sysconfig/network-scripts/ifcfg-eno1677773 3. 关闭防火墙 Close firewalld systemctl stop firewalld.service #

一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)

一.在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可. 如果不输入密码,回车后会重新提示输入密码,即密码不能为空. 最后确认信息是否正确,如果没问题,输入 Y,回车即可. 3.为ha

centos6.4安装hadoop2.4.1

#关闭防火墙 service iptablesstop 1:安装JDK 1.1上传jdk-7u_65-i585.tar.gz 1.2解压jdk #创建文件夹 mkdir /home/hadoop/app #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app 1.3将java添加到环境变量中 sudo vim /etc/profile #在文件最后添加 export JAVA_HOME=/home/hadoop/app/jdk-7

CentOS7安装Hadoop2.7完整流程

总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成,Master 192.168.0.182Slave1 192.168.0.183Slave2 192.168.0.184 2.SSH免密码登录,因为Hadoop需要通过SSH登录到各

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码,通过编译源码并安装一.需要准备的软件:1.JDK和GCC    设置JAVA_HOME:        vim ~/.bashrc        在最后增加:export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31,保存退出.        使设置立即生效:source ~/.bashrc        测试JAVA_HOME是否设置成功,输出了上面设置的路径表示成功:    

Ubuntu 14.04下安装Hadoop2.4.0 (单机模式)

转自 http://www.linuxidc.com/Linux/2015-01/112370.htm 一.在Ubuntu下创建Hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可. 如果不输入密码,回车后

安装hadoop2.4.0遇到的问题

一.执行start-dfs.sh后,datenode没有启动 查看日志如下: 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000java.io

Ubuntu16.04安装Hadoop2.7.3教程

Ubuntu16.04安装Hadoop2.7.3 教程 参考厦门大学数据库实验室 http://dblab.xmu.edu.cn/blog/install-hadoop/,遇到相关的地方有改动. 作者:秦景坤 日期:2017-4-20 主要内部包括 环境配置和本地和伪分布 本文档适合于原生Hadoop2,参考相关文档,亲自动手实践来一步一步搭建环境.转载请指明出处. 环境 本教程使用Ubuntu16.04 64位作为系统环境,包括桌面版和server版,其他版本系统,若有差异请自行百度安装教程系