Ubuntu中搭建Hadoop2.5.2完全分布式系统(二)

继续上文,接着进行介绍

2.2编辑hadoop-env.sh

由于Hadoop是基于java编写的,所以需要在hadoop-env.sh里设置JDK路径。首先打开/etc/hadoop/hadoop-env.sh文件。

找到JAVA_HOME变量,将其修改为

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

如下图所示:

2.3配置core-site.xml

core-site.xml配置集群的全局参数,主要定义了系统级别的参数,如HDFS  URL、Hadoop的临时目录等信息。

在终端中输入sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

打开core-site.xml。打开后在<configuration></configuration>之间增加如下图所示内容,然后保存。

fs.default.name 设置的是NameNode RPC交互端口默认值为8020端口,这里我们将其设为9000端口。hadoop.tmp.dir为临时目录设定,设定在/home/hadoop/hadoop/tmp目录下。其他的配置没有进行设定,采用其默认配置。

2.4配置yarn-site.xml文件

yarn-site.xml配置集群资源管理系统的参数,包括ResourceManager,NodeManager 的通信端口,web 监控端口等内容。

在终端中输入sudo gedit /home/hadoop/hadoop/etc/hadoop/yarn-site.xml

打开yarn-site.xml。打开后在<configuration></configuration>之间增加配置,如下图所示:

配置yarn.nodemanager.aux-services可以自定义一些服务内容,本集群中设置为mapreduce-shuffle,这样就可以实现mapreduce的shuffle功能

2.5配置mapred-site.xml文件

marpred-site.xml用于配置mapreduce参数,包含JobHistory Server和应用程序参数两部分。默认情况下,/usr/local/hadoop/etc/hadoop/文件夹下只有mapred.xml.template文件。

在终端中输入命令cp etc/hadoop/mapred-site.xml.template  ./etc/hadoop/mapred-site.xml

复制该文件,并命名为mapred.xml,该文件用于指定Map/Reduce使用的框架。

然后在终端中输入:

sudo gedit /home/hadoop/hadoop/etc/hadoop/mapred-site.xml

打开mapred-site.xml。打开后在<configuration></configuration>之间增加配置,如下图所示:

mapreduce.framework.name 设置的是Map/Reduce框架类型,默认值为local。本集群安装的是第二代Hadoop系统,采用的Map/Reduce编程框架是yarn,所以设置值为yarn。mapreduce.jobhistory.address定义历史服务器的地址和端口,可以通过历史服务器查看已经运行完的Map/Reduce作业记录。mapreduce.jobhistory.webapp.address用于设定历史服务器的web应用访问的地址和端口。

2.6配置hdfs-site.xml文件

hdfs-site.xml中设置的主要是NameNode和DataNode的存储位置,备份文件副本的个数和文件的读取权限等信息。

在终端中输入sudo gedit /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml

打开hdfs-site.xml文件。打开之后进行配置,配置内容如下图所示:

dfs.name.dir配置的是DFS(分布式文件系统)的NameNode在本节点的文件系统中的位置。而dfs.data.dir配置的是DataNode在本节点的文件系统中的位置。

dfs.replication配置的是数据块的备份数量,最高为3.

2.7Master/Salves设置

在NameNode节点的/home/hadoop/hadoop/etc/hadoop路径下创建两个文本文件,分别命名为masters和slaves。在masters文件下输入hadoop-namenode,hadoop-namenode表示的是192.168.1.110这个IP地址,与之前设置静态IP时对应,在slaves下输入hadoop-datanode1和hadoop-datanode2,作用是Datanode的IP地址。设置完成后,点击保存保存,并将这两个文件复制到其他服务器节点的相同路径下。

三、启动Hadoop

3.1格式化HDFS

启动Hadoop之前要先在NameNode节点上格式化NameNode。在终端中输入命令:hadoop namenode –format即可

3.2启动Hadoop

格式完成之后打开/home/hadoop/hadoop/sbin/start-all.sh文件就可运行Hadoop平台了。

登录http://192.168.1.110:50070即可查看节点信息。

登录http://192.168.1.110:8088可以查看任务信息

时间: 2024-08-01 03:03:07

Ubuntu中搭建Hadoop2.5.2完全分布式系统(二)的相关文章

Ubuntu中搭建Hadoop2.5.2完全分布式系统(一)

Hadoop平台搭建有三种模式,分别是单机模式.伪分布模式.完全分布模式.单机模式是在单一计算机或者服务器上运行Hadoop,没有分布式的文件上传和任务分配等功能.它执行的流程仍然是Map/Reduce,但是是文件和程序都在本机上,可以看成只有一个节点的Hadoop平台.伪分布模式也是单一计算机或者服务器,但是它在单一节点上用不同的Java进程模拟出来NameNode.DataNode.JobTracke.TaskTracker等节点.实际工作时,它会把不同的节点,每个模拟出来的节点执行时和在完

在Ubuntu中搭建.NET开发环境

Mono简介Mono是Xamarin公司C#和CLR的ECMA标准基于开发的一个开源的.NET实现版本,它是Linux平台上开发.NET应用程序首选.同时其也提供了Xamarin.IOS和Xamarin.Andriod,是我们可以直接使用C#开发IOS和Andriod手机开发.安装MonoMono的乌班图版本是由社区提供维护的.以下的版本在标准的Ubuntu库中是可用的:Ubuntu Hardy (8.04 LTS):     1.2.6Ubuntu Lucid (10.04 LTS):   

Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4&amp;lt;3&amp;gt;

经过前几天的学习,基本上能够小试牛刀编写一些小程序玩一玩了,在此之前做几项准备工作 明白我要用hadoop干什么 大体学习一下mapreduce ubuntu重新启动后,再启动hadoop会报连接异常的问题 答: 数据提炼.探索数据.挖掘数据 map=切碎,reduce=合并 重新启动后会清空tmp目录,默认namenode会存在这里,须要在core-site.xml文件里添加(别忘了创建目录,没权限的话,须要用root创建并把权限改成777):<property> <name>h

如何在ubuntu中搭建ruby开发环境

Ubuntu是一个以桌面应用为主的linux操作系统,在进行项目开发的时候,需要在ubuntu中安装ruby开发(http://www.maiziedu.com/course/ruby-px/)语言,主要是考虑到项目的高可变性,以及由此产生的高适应性,所以选择用ruby.跟Java相比,ruby的确比较灵活,能写出千变万化的代码. 但是,比较可悲的是,在windows7上面搭建ruby环境问题比较多.无论是基于cgywin,还是直接使用netbeans都不尽如人意. 因为想调整webserver

Spark在Ubuntu中搭建开发环境

一.在Windows7中安装Ubuntu双系统 工具/原料   windows7 64位 ubuntu 16.04 32位 UltraISO最新版(用来将镜像文件烤到U盘中) 空U盘(若有文件,请先备份) 1.为安装ubuntu16.04分配一块磁盘空间(100G) Win7自带分配磁盘的工具([计算机]->[管理]->[磁盘管理]->选中压缩盘->[右键]->[压缩卷]),只需要压缩步骤即可,不需要继续分盘符格式化等操作. 2.将镜像文件iso写到U盘 下载并安装Ultra

Docker中搭建Hadoop-2.6集群

1.  单个Docker节点的配置 1.1 获取一个简单的Docker系统镜像,并建立一个容器. 1.2.1 这里我选择下载CentOS镜像 docker pull centos 1.2.2 通过docker tag命令将下载的CentOS镜像名称换成centos,然后建立一个简单容器 docker run -it --name=client1 centos /bin/bash 1.2 Docker容器中下载并安装Java 1.2.1 JDK下载 去Oracle官网选择要下载的JDK http:

在Ubuntu中搭建Python3的虚拟环境并开始django项目

搭建环境: 1.首先安装virtualenv: 1 pip install virtualenv 2.创建虚拟环境:(指定安装Python3,若不写-p python3,默认安装Python2.7),env_mysite_python3是虚拟环境的名字 1 virtualenv -p python3 env_mysite_python3 3.如下显示则表示虚拟环境已经安装好了 Running virtualenv with interpreter /usr/bin/python3 Already

ubuntu中搭建php7+mongodb方法

首先照着这篇文章操作 http://blog.csdn.net/Toshiya14/article/details/51417076 结果发现一直报Cannot find OpenSSL's libraries 并且装了libcurl4-openssl-dev也没用 后来参看 http://linuxzj.blog.51cto.com/6160158/1632132 执行 sudo ln -s /usr/lib/x86_64-linux-gnu/libssl.so /usr/lib 才搞定,cs

ubuntu中搭建基本的开发环境

1.搭建基本开发环境: sudo apt-get install build-essential 2.安装语法.词法分析器 sudo apt-get install bison flex 3.安装C函数库的man手册,可以通过"man functionname"查看函数用法 sudo apt-get install manpages-dev ncurses是一个能提供功能键定义(快捷键).屏幕绘制以及基于文本终端的图形互动功能的动态库.如果没有它,在执行 make menuconfig