Hadoop全分布模式操作

http://blog.csdn.net/wangloveall/article/details/20767161

摘要:介绍Hadoop全分布模式操作,实现真正意义上的集群架构。

关键词:Hadoop  全分布模式  文件配置

利用Hadoop解决大数据问题时,我们是用全分布模式来操作Hadoop。

如何基于全分布模式来操作Hadoop,构建Hadoop集群呢?具体步骤如下。

第一步:配置hosts文件。

执行命令: vi  /etc/hosts,修改所有的节点,使得彼此之间都能把主机名解析为ip,即实现主机名与ip的绑定。

第二步:建立Hadoop运行账号

在所有节点上都建立运行Hadoop的账号,建议不要使用root账号,因为其权限最大,有时会带来意想不到的麻烦。

第三步:配置ssh,实现免密码登录

针对每个节点都要进行相同操作

首先,检查是否安装了ssh

依次执行命令:which ssh

which  sshd

which ssh-keygen

其次,生成ssh密钥对

执行命令: ssh-keygen  -r rsa

最后,分发ssh公钥

把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中

第四步:下载并解压Hadoop安装包

第五步:配置namenode,修改hdfs-site.xml文件

第六步:配置hadoop-env.sh

说明:以上三步配置可以参照伪分布模式操作Hadoop的配置

第七步:配置masters和slaves文件

第八步:向各节点复制Hadoop

第九步:格式化namenode,启动Hadoop

鉴于作者实验环境和资源有限,目前是基于伪分布模式操作Hadoop。因此,上述关于Hadoop全分布模式的操作,作者目前还没有试验过,仅是通过查阅相关文档和资料,进行的一个步骤归总。若有问题或不足,欢迎读者指正。

Source:

http://www.wangluqing.com/2014/02/hadoop-clustermodel-operation/

http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html

3  http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html

4  炼数成金之《Hadoop数据分析平台》课程的第二课,实施Hadoop集群

Hadoop全分布模式操作,布布扣,bubuko.com

时间: 2024-10-12 20:32:55

Hadoop全分布模式操作的相关文章

Hadoop伪分布模式操作

http://blog.csdn.net/wangloveall/article/details/20195813 摘要:本文介绍Hadoop伪分布模式操作,适合于Hadoop学习.开发和调试. 关键词:Hadoop    伪分布式   文件配置 启动Hadoop支持三种模式操作,分别是单机模式操作.伪分布模式操作和全分布模式操作. 单机模式操作是Hadoop的默认操作模式,当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,会保守地选择最小配置,即单机模式.该模式主要用于开发调

hadoop全分布模式环境搭建

这是我第一次搭建全分布模式,本文都是参照网友教程,按照我自己的实践过程将其进行组织.我是利用三台虚拟机进行搭建的,每台虚拟机都是ubuntuserver16.04.1(64位).搭建过程中有很多步骤和参数配置我还在研究,具体原理我现在无法讲清楚,等以后知识到我了我再来修改本文的不足和完善.文末有参考文章,大家可以综合参考. 一 集群搭建准备 1 虚拟机:三个虚拟机均为ubuntuserver16.04.1(ubuntu-16.04.1-desktop-amd64.iso)操作系统,虚拟机主机名(

Hadoop伪分布模式的安装

Hadoop伪分布模式的安装 [环境参数] (1)Host OS:Win7 64bit (2)IDE:Eclipse Version: Luna Service Release 2 (4.4.2) (3)虚拟机:VMware 10 (4)Client OS:CentOS 6.4 32bit. 注意: 若是CentOS 64bit,则在启动hadoop时,会报出警告. 原因:Hadoop的本地库($HADOOP_HOME/lib/native/libhadoop.so.1.0.0)是在32 bit

Spark教程-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)

第四步:配置Hadoop伪分布模式并运行Wordcount示例 伪分布模式主要涉及一下的配置信息: 修改Hadoop的核心配置文件core-site.xml,主要是配置HDFS的地址和端口号: 修改Hadoop中HDFS的配置文件hdfs-site.xml,主要是配置replication; 修改Hadoop的MapReduce的配置文件mapred-site.xml,主要是配置JobTracker的地址和端口: 在具体操作前我们先在Hadoop目录下创建几个文件夹: 下面开始构建具体的伪分布式

Hadoop全分布式集群环境配置

Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. Hadoop实现了一个分布式系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS

3-2 Hadoop伪分布模式配置部署

Hadoop伪分布模式配置部署 一.实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化 启动hadoop进程,验证安装 1.2 实验知识点 hadoop核心配置文件 文件系统的格式化 测试WordCount程序 1.3 实验环境 hadoop2.7.6 CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有hadoop基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA

IntelliJ IDEA全键盘操作

IntelliJ IDEA 如何做到全键盘操作呢? 1.自定义快捷键实现全屏操作 你可以设置自定义快捷键进入全屏操作,并实现各个窗口之间的切换.这样,你就可以告别小窗口的时代,体验全屏显示的效果了!(相信有过多年开发经验的你一定会觉得小窗口非常不便于阅读代码,特别是对于小屏幕的笔记本来说) 操作:在File/Settings(或Ctrl+Alt+S)打开设置界面,在搜索框中搜Keymap.然后将之前的keymap文件复制一份.因为原文件是不可以改动的,只有复制一份再对它进行设置自定义快捷键. 设

[转载]从MyEclipse到IntelliJ IDEA-让你摆脱鼠标,全键盘操作

从MyEclipse转战到IntelliJ IDEA的经历 注转载址:http://blog.csdn.net/luoweifu/article/details/13985835 我一个朋友写了一篇“从Eclipse到Android Studio”博文,于是心潮澎湃我也想一篇,分享自己用这个IDEA的一些技巧和感受. 来到公司的第一天,我的同事(也是我的师傅)就让我装IntelliJ IDEA.一开始我还不知道IntelliJ IDEA是什么,后来才知道它是一个Java的集成开发环境(IDE),

Hadoop的Shell操作

Hadoop shell命令操作,输入hadoop回车后可以发现如图所示: 常用的命令有: hadoop namenode -format 这个是启动Hadoop之前格式化文件系统时使用的命令. hadoop dfsadmin 这是Hadoop的管理命令,我们输入hadoop dfsadmin回车后可以看到详细命令如下图: hadoop dfsadmin常用的命令有: 1):hadoop dfsadmin -report 查看Hadoop的运行状态 2):hadoop dfsadmin -saf