一篇文章教你轻松安装hadoop(第2篇)

如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装hadoop环境,只要你用心,仔细的跟着文章中讲到的做,肯定能正确安装。

    第三章 安装hadoop环境

由于大家在学习hadoop时候,主要以Hadoop 1.0环境为主学习就可以,所以这主要介绍如何搭建Hadoop 1.0分布式环境。

整个分布式环境运行在带有linux操作系统的虚拟机上,至于虚拟机和linux系统的安装这里暂不做过多介绍。

安装Hadoop分布式环境:

1) 下载Hadoop安装包:

http://down.51cto.com/data/2290706地址中可以找到hadoop-1.2.1-bin.tar.gz文件

使用securtCRT的rz功能上传hadoop-1.2.1-bin.tar.gz这个文件到虚拟机的系统中。

同样在securtcrt中ll时,能得到

2) 安装Hadoop安装包:

l 首先将安装包解压缩:

l Linux终端执行cd进入相应目录:

l 新增tmp目录,mkdir  /home/hadoop/hadoop-1.2.1/tmp

3) 配置Hadoop:

l 使用vim修改master文件内容:

将localhost修改成master:

最后保存退出。

l 修改slaves文件

注意,这里准备设置几台slave机器,就写几个,因为当前分布式环境有四个虚拟机,一台做master,三台做slave,所以这里写成了三个slave

l 修改core-site.xml文件:

【注意】中间的ip地址,不要输入192.168.2.55,根据自己的情况设置。

l 修改mapred-site.xml文件:

【注意】记得value的内容要以http开头。

l 修改hdfs-site.xml文件:

其中,<value>3</value>视情况修改,如果有三台slave机器,这里设置成3,如果只有1台或2台,修改成对应的值即可。

l 修改hadoo-env.sh文件

下新增export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

l 修改本地网络配置:编辑/etc/hosts文件

【注意】Ip地址根据具体的情况要进行修改。

4) 复制虚拟机

l 关闭当前虚拟机,并复制多份

【注意】要选择初始化所有网卡的mac地址

根据自己需求,复制2到3台虚拟机作为slave,同样要确认网络连接方式为桥接。

l 设置所有机器的IP地址

分别启动虚拟机,修改机器的ip 地址,在虚拟机的图形界面里,选择设置单击打开,在弹出来的窗口里,选择

打开,修改成如下的形式,选择ipv4 ,分配方式选择成manual。

【注意】具体的ip地址,根据实际的情况来设置,因为培训教室里都是192.168.2.x的网段,所以我这里设置成了192.168.2.x,每个人选择自己的一个ip地址范围,注意不要和其它人冲突了。

5) 建立互信关系

l 生成公私钥,在master机器的虚拟机命令行下输入ssh-keygen,一路回车,全默认

l 复制公钥

复制一份master的公钥文件,cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

同样,在所有的slave机器上,也在命令行中输入ssh-keygen,一路回车,全默认

在所有的salve机器上,从master机器上复制master的公钥文件:

l 测试连接

在master机器上分别向所有的slave机器发起联接请求:

如:ssh slave1

【注意】记得一旦联接上,所有的操作,就视同在对应的slave上操作,所以一定要记得使用exit退出联接。

6) 启动Hadoop:

l 初始化:在master机器上,进入/home/hadoop/hadoop-1.2.1/bin目录

在安装包根目录下运行./hadoop namenode –format来初始化hadoop的文件系统。

l 启动

执行./start-all.sh,如果中间过程提示要判断是否,需要输入yes

输入jps,查看进程是否都正常启动。

如果一切正常,应当有如上的一些进程存在。

7) 测试系统

输入./hadoop fs –ls /

能正常显示文件系统。

如此,hadoop系统搭建完成。否则,可以去/home/hadoop/hadoop-1.2.1/logs目录下,查看缺少的进程中,对应的出错日志。

此时,你已经把hadoop环境搭建好了,下一篇文章将给大家介绍什么是HDFS文件系统,HDFS又能做什么呢?访问我的博客,学习更多hadoop知识http://ijiajia.blog.51cto.com

时间: 2024-08-04 17:42:49

一篇文章教你轻松安装hadoop(第2篇)的相关文章

一篇文章教你轻松使用fastjson

前言 只有光头才能变强. 文本已收录至我的GitHub精选文章,欢迎Star:https://github.com/ZhongFuCheng3y/3y JSON相信大家对他也不陌生了,前后端交互中常常就以JSON来进行数据交换.而有的时候,我们也会将JSON直接保存在数据库中. 可能就有人不太理解,为什么要将JSON保存在关系型数据库中? 我在最开始的时候也有类似的疑惑,问了几个同事,得出的结论都差不多:方便扩展,如果那些字段不需要用到索引,改动比较频繁,你又不想改动表的结构,那就可以在数据库中

一篇文章教你如何用 Redis 轻松实现秒杀系统的构思

用 Redis 轻松实现秒杀系统的构思 前言: 秒杀系统的架构设计 秒杀系统,是典型的短时大量突发访问类问题.对这类问题,有三种优化性能的思路: **1. 写入内存而不是写入硬盘. 异步处理而不是同步处理. 分布式处理**用上这三招,不论秒杀时负载多大,都能轻松应对.更好的是,Redis能够满足上述三点.因此,用Redis就能轻松实现秒杀系统. 用我这个方案,无论是电商平台特价秒杀,12306火车票秒杀,都不是事:) 下面介绍一下为什么上述三种性能优化思路能够解决秒杀系统的性能问题: 写入内存而

一篇文章教你读懂Makefile

makefile很重要      什么是makefile?或许很多Winodws的程序员都不知道这个东西,因为那些Windows的IDE都为你做了这个工作,但我觉得要作一个好的和professional的程序员,makefile还是要懂.这就好像现在有这么多的HTML的编辑器,但如果你想成为一个专业人士,你还是要了解HTML的标识的含义.特别在Unix下的软件编译,你就不能不自己写makefile了,会不会写makefile,从一个侧面说明了一个人是否具备完成大型工程的能力.因为,makefil

一篇文章教你学会基础的HTML

html是学习做网页的基础,漂亮的网页与布局就是由有些html代码组成,大家看完这篇文章就可以简单的了解html了,多写多练 如果你不致力于成为美工的话,那么作为开发人员,可以读懂HTML.必要时能进行简单修改即可.下面跟着我的思路,保证一篇文让你看懂HTML,当然,再看的过程中,最好自己动手试试,这样理解就更深了.Ok,下面开始:(下面的符号均为英文状态下输入) 1.  html基本规则 <html> <head> <title>我的网页</title>

一篇文章教你如何设计一个百万级的消息推送系统

前言 先简单说下本次的主题,由于我最近做的是物联网相关的开发工作,其中就不免会遇到和设备的交互. 最主要的工作就是要有一个系统来支持设备的接入.向设备推送消息:同时还得满足大量设备接入的需求. 所以本次分享的内容不但可以满足物联网领域同时还支持以下场景: 基于 WEB 的聊天系统(点对点.群聊). WEB 应用中需求服务端推送的场景. 基于 SDK 的消息推送平台. 技术选型 要满足大量的连接数.同时支持双全工通信,并且性能也得有保障. 在 Java 技术栈中进行选型首先自然是排除掉了传统 IO

我要写一篇文章吗?

我们都有这样的经历:刚学了一个很酷的知识点,或在项目开发中填了一个坑,或做完一项目有了一些心得体会,这时你想写篇文章和其他人分享一下,但还未动笔,心中可能就会闪现这样的想法: 我的文章能够吸引别人来看吗?我写的文章对其他人会有实际的帮助吗?我得花多少时间才能把一篇文章写完啊?哎,算了,我的文笔太烂了. 是的,任何阻止你写文章的想法可能是对的,也可能是错的.但是,我写这篇文章就是要告诉你,无任怎样你都应该把这篇文章写下来. 虽然我的写作经验非常有限,只写过一些技术博文,至今我自己在写新的文章之前还

一篇文章学会docker

一篇文章学会docker docker安装 docker在线安装 1.更新yum到最新 yum update 2.卸载旧版本 sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine 3.安装需要的软件

教你如何在win7中的cygwin64下安装hadoop

首先我们要准备如下环境及软件: win7(64位) cygwin 1.7.9-1 jdk-6u25-windows-x64.zip hadoop-0.20.2.tar.gz 1.在win7系统上正常安装jdk,同时注意设置好java环境的变量: 主要的变量包括:JAVA_HOME,PATH,CLASSPATH (不会设置的请自备梯子) 2.接下来是安装Hadoop,我目前安装的版本为0.20.2版本,为了方便, 我暂时是直接放到了cygwin64的/home目录下(正常情况下,请放在/usr目录

Mac OS X Yosemite安装Hadoop 2.6记录

整个安装过程分为四部分: 一.  安装Homebrew 二.  ssh localhost 三. 安装Hadoop已经进行配置文件设置 (伪分布式) 四. 运行栗子 一. 安装Homebrew 采用Homebrew安装Hadoop非常简洁方便,之前在Windows上Cygwin上安装过Hadoop,感觉好麻烦. 关于Homebrew可以查看其官网 http://brew.sh/ 也可以查看 Homebrew 新一代OS X套件管理工具 一文. $ ruby -e "$(curl -fsSL ht