Hadoop2.6.0伪分布环境搭建

用到的软件:

一、安装jdk:

1、要安装的jdk,我把它拷在了共享文件夹里面。

  (用优盘拷也可以)

2、我把jdk拷在了用户文件夹下面。

(其他地方也可以,不过路径要相应改变)

3、执行复制安装解压命令:

解压完毕:

查看解压的文件夹:

4、配置 环境变量:

写入如下5行代码:

使配置生效:

5、查看安装的jdk:

java -version

java

javac

二、SSH免密码登陆:

1、安装SSH:

2、是否生成 .ssh
目录:

3、如果没有生成,自己手动创建一个 .ssh 目录:

生成的 .ssh 目录:

4、生成公钥与私钥:

效果如下:

5、将公钥加入到用于认证的公钥文件中:

6、免密码登陆:

效果:

Ubuntu 免密码登陆,SSH配置完。

三、安装配置Hadoop:

1、复制安装解压Hadoop

解压完毕效果:

2、配置 etc/profile

3、配置 hadoop-env.sh

进入

4、修改hadoop-2.6.0文件权限为用户权限:

默认没有mapred-site.xml文件,复制mapred-site.xml.template一份,并把名字改为mapred-site.xml

5、配置下面4个重要文件:

mapred-site.xml

core-site.xml

hdfs-site.xml

yarn-site.xml

6、格式化:

格式化部分效果:

7、启动:

先启动  start-dfs.sh

效果:

再启动  start-yarn.sh

效果:

关闭hadoop:

(注:也可以  sbin/start-all.sh:  建议分开启动。)效果一样,如下:

8、查看Web页面信息:

至此,hadoop-2.6.0伪分布配置成功。

时间: 2024-10-14 12:15:52

Hadoop2.6.0伪分布环境搭建的相关文章

hadoop-2.7.1伪分布环境搭建

1.准备Linux环境  1.0 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok   回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的

_00014 hadoop-2.2.0 伪分布式环境搭建

http://passport.baidu.com/?business&un=%E5%B0%8F%E5%A7%90%5F%E6%B5%B7%E5%AE%81%5F%E6%89%BE%5F#0 http://passport.baidu.com/?business&un=%E5%B0%8F%E5%A7%90%E6%B5%B7%E5%AE%81%E6%8C%89%E6%91%A9%E6%89%BE#0 http://passport.baidu.com/?business&un=%E5

Hadoop2.0 伪分布环境的搭建

准备Linux环境[JAVA,IP,hostname,hosts,iptables,chkconfig,ssh] 不会配置的找1.0下面的伪分布环境搭建 下载稳定版2.2.0 修改etc/hadoop目录下的配置文件core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml 文件core-site.xml <configuration> <property> <name>fs.defaultFS</name&

在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool

Hadoop-2.6.0伪分布--安装配置hbase

Hadoop-2.6.0伪分布--安装配置hbase 1.用到的hadoop与hbase: 2.安装hadoop: 具体安装看这篇博文: http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3.解压hbase: 结果: 4.修改hbase 文件权限为一般用户权限: 5.设置环境变量: 配置内容: 保存配置: 6.进入配置文件目录: 7

hadoop-2.6.0伪分布运行WordCount

hadoop-2.6.0伪分布运行WordCount 1.启动Hadoop:  2.创建file 文件夹:  这个是建在本地硬盘上的: 查看创建的 file 文件: 进入该目录,创建两个 txt 文件: 结果如下: 3.在HDFS上创建输入文件夹目录 input : 把本地硬盘上创建的文件传进input 里面: 查看结果: 4.Hadoop自带的运行 wordcount 例子的 jar 包: 5.开始运行 wordcount: 过程: 查看运行结果: 附完整运行过程: 附代码: import j

Hadoop伪分布环境搭建——Linux环境配置

hadoop最近可以说是相当火,也勾起了我的兴趣,所以打算学习一下.想要学习hadoop肯定要先学会在自己的电脑上搭建一个hadoop伪分布环境.伪分布模式安装步骤的第一步就是要配置Linux环境.我自己的Linux是Ubuntu系统,不过只要是Linux系统,都大同小异,配置步骤基本没啥区别. 首先,需要进行本地网络配置.我们需要在linux系统下新增一个网络连接,自己设定好ip(ipv4)地址,子网掩码和网官.下图是我的设置: 接下来,还需要在window本地连接上也设置windows下的i

Hadoop.2.x_伪分布环境搭建

一. 基本环境搭建 1. 设置主机名.静态IP/DNS.主机映射.windows主机映射(方便ssh访问与IP修改)等 设置主机名: vi /etc/sysconfig/network # 重启系统生效(临时修改: hastname xxx;另起一个终端将会看到效果,需要注意的是: 若即将搭建Hadoop,这里起的hostname禁止使用"_") 设置静态IP/DNS: vi /etc/sysconfig/network-scripts/ifcfg-eth0(示例:修改BOOTPROT

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的..eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误..下篇博客将重点讲述这个艰难的过程... 今天来说说hadoop2.4的安装和配置吧~ 1.环境的准备: 系统:CentOS JDK版本号:jdk7 系统须要包括ssh