Hadoop2.6环境搭建

Hadoop-2.6.0环境搭建

所需资源:hadoop-2.6.0.tar.gz  Hadoop-2.6.0-src.tar.gz   jdk-8u40-linux-i586.tar.gz

第一步:先安装配置JDK(如果事先有配置好JDK,这步可以略过)

sudo mkdir /usr/lib/jvm

sudo tar zxvf jdk-8u40-linux-i586.tar.gz –C /usr/lib/jvm

修改环境变量(如果没安装vim,可先安装:sudo apt-get install vim)

sudo vim /etc/profile

添加

配置完成后,运行

第二步:安装Hadoop

sudo tar zxvf hadoop-2.6.0.tar.gz(注意不是源码)

创建一个指向Hadoop安装目录的环境变量

sudo vim /etc/profile

添加

安装完成后,运行

第三步:配置SSH

首先安装ssh

sudo apt-get install ssh

然后基于空口令创建一个新SSH密钥,以启用无密码登录

ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

验证

ssh localhost

第四步:配置hadoop的不同模式,默认为本机模式,故无需配置。现在我们配置的是伪分布模式

Hadoop2.6.0的配置文件路径为

(1)       修改配置文件hadoop-env.sh,加入JAVA_HOME

sudo vim hadoop-env.sh

需要给该文件添加执行权限:sudo chmod +X hadoop-env.sh

再让该文件立即生效:source hadoop-env.sh

(2)       修改配置文件yarn-env.sh,加入JAVA_HOME

sudo vim yarn-env.sh

需要给该文件添加执行权限:sudo chmod +X yarn-env.sh

再让该文件立即生效:source yarn-env.sh

(3)       修改配置文件mapred-env.sh,加入JAVA_HOME

sudo vim mapred-env.sh

需要给该文件添加执行权限:sudo chmod +X mapred-env.sh

再让该文件立即生效:source mapred-env.sh

(4)       修改配置文件core-site.xml(里面的configuration都是空的,需要我们添加)

sudo vim core-site.xml

(5)       修改配置文件hfgs-site.xml(里面的configuration都是空的,需要我们添加)

sudo vim hdfs-site.xml

(6)       修改配置文件mapred-site.xml(里面的configuration都是空的,需要我们添加。文件下是mapred-site.xml.template,可以先修改该文件,在复制改名为mapred-site.xml即可)

sudo vim mapred-site.xml

(7)       修改配置文件yarn-site.xml(里面的configuration都是空的,需要我们添加,hadoop2.0以后,将mapreduce在yarn中运行,具体可阅读hadoop权威指南第三版)

sudo vim yarn-site.xml

第五步:启动hadoop并验证

(1)       格式化HDFS文件系统

hadoop namenode –formate

(2)       启动hdfs

可以通过http://localhost:50070查看

(3)       启动yarn(使用jps可以发现localhost启动了ResourceManager进程)

时间: 2024-10-11 03:02:45

Hadoop2.6环境搭建的相关文章

Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔记系列>.其实,早在2014年Hadoop2.x版本就已经开始流行了起来,并且已经成为了现在的主流.当然,还有一些非离线计算的框架如实时计算框架Storm,近实时计算框架Spark等等.相信了解Hadoop2.x的童鞋都应该知道2.x相较于1.x版本的更新应该不是一丁半点,最显著的体现在两点: (1)H

Hadoop-2.4.1完全分布式环境搭建

一.配置步骤如下: 主机环境搭建,这里是使用了5台虚拟机,在ubuntu 13系统上进行搭建hadoop环境. 创建hadoop用户组以及hadoop用户,并给hadoop用户分配权限. 免密码登陆,为5台主机进行免密码登陆配置. 安装hadoop以及jdk,并配置环境变量. Hadoop分布式环境参数配置. 二.主机环境搭建: 在虚拟机上安装5台虚拟主机并分别安装好hadoop系统,然后分别完成以下操作. 设定静态ip地址,这里的虚拟机使用的是NAT上网模式,配置命令如下: a)     配置

Hadoop2.6集群环境搭建

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次. 准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. N

Hadoop2.6集群环境搭建(HDFS HA+YARN)

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次. 准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. N

Hadoop2.2.0-HA高可用集群环境搭建

Hadoop2.2.0-HA高可用集群环境搭建 集群主机信息 主机名称 主机ip 配置 主要功能 master1 硬盘300G,内存32G,CPU8核 管理主节点 master2 硬盘300G,内存32G,CPU8核 管理备份节点 slave1 硬盘300G,内存8G,CPU4核 数据节点 slave2 硬盘300G,内存8G,CPU4核 数据节点 slave3 硬盘300G,内存8G,CPU4核 数据节点 slave4 硬盘500G,内存4G,CPU2核 mysql数据库 本次集群使用6台物理

Hadoop学习笔记(一)—hadoop2.5.2+zookeeper3.6.4+centosx64+vmware11环境搭建

前言 大数据实在是太热,一直对新技术充满着向往,其实hadoop也不是新技术,已经好几年了.打算学习,一下hadoop整个生态圈的内容.这篇文章介绍一下环境搭建,自己搭环境摸索了好几天连着,终于搭建完成,记录一下.并share一下,如果哪天你也需要,大家一起共勉.在这希望我能认认真真写完每一篇博客,坚持一直写. ——chaosju 环境+工具准备 大数据实在是太热,一直对新技术充满着向往,其实hadoop也不是新技术,已经好几年了.打算学习,一下hadoop整个生态圈的内容.这篇文章介绍一 下环

[hadoop]hadoop2.6完全分布式环境搭建

在经过几天的环境搭建,终于搭建成功,其中对于hadoop的具体设置倒是没有碰到很多问题,反而在hadoop各节点之间的通信遇到了问题,而且还反复了很多遍,光虚拟机就重新安装了4.5次,但是当明白了问题之后才发现这都是无用功,有了问题应该找具体的解决方案,并不是完全的重装,这样不会明白问题是怎么解决的,除了费时费力没有多大的用处,接下来就把搭建的过程详细叙述一下. 环境配置: 计算机: CPU-I7 2630QM 6G内存 256G SSD 虚拟机: vmware workstation 11 系

hadoop2.6.2+hbase+zookeeper环境搭建

1.hadoop环境搭建,版本:2.6.2,参考:http://www.cnblogs.com/bookwed/p/5251393.html 启动服务:在master机器上,进入hadoop安装目录,执行命令:./sbin/start-all.sh 查看是否启动成功:jps 2.zookeeper环境搭建,版本:3.4.6,参考:http://www.cnblogs.com/bookwed/p/4599829.html 启动服务:分别在三台机器上,进入zookeeper安装目录,执行命令:./b

hadoop2.7.2 window win7 基础环境搭建

hadoop环境搭建相对麻烦,需要安装虚拟机过着cygwin什么的,所以通过查资料和摸索,在window上搭建了一个,不需要虚拟机和cygwin依赖,相对简便很多. 下面运行步骤除了配置文件有部分改动,其他都是参照hadoop下载解压的share/doc/index.html. hadoop下载:http://apache.opencas.org/hadoop/common/ 解压至无空格目录下即可,下面是目录结构: 下面配置windows环境: Java JDK :我采用的是1.8的,配置JA