hadopp 环境搭建

前序：

首先准备三个虚拟机节点。

 配置hosts文件：每个节点都 如下配置：

vi /etc/hosts

1、 每个结点分别产生公私密钥

  1. ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

    

以上命令是产生公私密钥，产生目录在用户主目录下的.ssh目录中。

Id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件，这个步骤是必须的，过程如下

  1. [[email protected] .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

单机回环ssh免密码登录测试

如果ssh localhost 返回 

则用yum下载SSH ：

  1. yum -y install openssh-clients

以下信息表示操作成功，单点回环SSH登录及注销成功，这将为后续跨子结点SSH远程免密码登录作好准备。

2、其他节点也是如此操作即可。

3、让主结点(master)能通过SSH免密码登录两个子结点（slave）

为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样

当master就可以顺利安全地访问这两个slave结点了。操作过程如下：

  1. [[email protected] ~]# scp [email protected]:~/.ssh/id_dsa.pub ./master_dsa.pub
  2. The authenticity of host ‘master (30.96.76.220)‘ can‘t be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added ‘master,30.96.76.220‘ (RSA) to the list of known hosts.
  6. [email protected]‘s password:
  7. id_dsa.pub 100% 601 0.6KB/s 00:00
  8. [[email protected] .ssh]# cat master_dsa.pub >> authorized_keys

如上过程显示了node1结点通过scp命令远程登录master结点，并复制master的公钥文件到当前的目录下，这一过程需要密码验证。接着，将master结点的公钥文件追加至authorized_keys文件中，通过这步操作，如果不出问题，master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下：

  1. [[email protected] .ssh]# ssh node1
  2. The authenticity of host ‘node1 (30.96.76.221)‘ can‘t be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added ‘node1,30.96.76.221‘ (RSA) to the list of known hosts.
  6. [email protected]‘s password:
  7. Last login: Fri Sep 9 17:42:15 2016 from localhost
  8. [[email protected] ~]# ll
  9. 总用量 24
  10. -rw-------. 1 root root 1144 9月 9 18:11 anaconda-ks.cfg
  11. -rw-r--r--. 1 root root 13231 9月 9 18:10 install.log
  12. -rw-r--r--. 1 root root 3482 9月 9 18:09 install.log.syslog
  13. [[email protected] ~]# pwd
  14. /root
  15. [[email protected] ~]# exit
  16. logout
  17. Connection to node1 closed.
  18. [[email protected] .ssh]#

表面上看，这两个结点的ssh免密码登录已经配置成功，但是我们还需要对主结点master也要进行上面的同样工作，这一步有点让人困惑，但是这是有原因的，具体原因现在也说不太好，据说是真实物理结点时需要做这项工作，因为jobtracker有可能会分布在其它结点上，jobtracker有不存在master结点上的可能性。

  1. [[email protected] .ssh]# scp [email protected]:~/.ssh/id_dsa.pub ./master_dsa.pub
  2. The authenticity of host ‘master (30.96.76.220)‘ can‘t be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added ‘master,30.96.76.220‘ (RSA) to the list of known hosts.
  6. id_dsa.pub 100% 601 0.6KB/s 00:00
  7. [[email protected] .ssh]# ssh master
  8. Last login: Fri Sep 9 17:42:39 2016 from localhost
  9. [[email protected] ~]# hostname
  10. master
  11. [[email protected] ~]# exit
  12. logout
  13. Connection to master closed.

下载JDK,hadoop安装包,并配置环境变量自行百度。

 

4、配置hadoop 文件：

4.1、 Core-site.xml

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>fs.default.name</name>
  9. <value>hdfs://master:9000</value>
  10. <final>true></final>
  11. </property>
  12. <property>
  13. <name>hadoop.tmp.dir</name>
  14. <value>/urs/hadoop/tmp</value>
  15. <description>A base for other temporary directories</description>
  16. </property>
  17. </configuration>

4.2、Hdfs-site.xml配置如下：

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>dfs.name.dir</name>
  9. <value>/usr/hadoop-1.2.1/name</value>
  10. <final>true</final>
  11. </property>
  12. <property>
  13. <name>dfs.data.dir</name>
  14. <value>/usr/hadoop-1.2.1/data</value>
  15. <final>true</final>
  16. </property>
  17. <property>
  18. <name>dfs.replication</name>
  19. <value>2</value>
  20. <final>true</final>
  21. </property>
  22. </configuration>

4.3、mapred-site.xml:

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>mapred.job.tracker</name>
  9. <value>30.96.76.220:9001</value>
  10. </property>
  11. </configuration>

（注：如果后续访问 http://30.96.76.220:50070/ 失败。请关闭防火墙试一下。具体问题还是查看日志比较清楚。）

   4.4、hadoop-env.sh:

     export JAVA_HOME=/usr/jdk/jdk1.7.0_76

  4.5 、masters和slaves文件

       

注：复制hoodoop 向 node1,node2.

5、格式化namenode

  1. [[email protected] ~]# hadoop namenode -format
  2. 16/09/10 17:03:49 INFO namenode.NameNode: STARTUP_MSG:
  3. /************************************************************
  4. STARTUP_MSG: Starting NameNode
  5. STARTUP_MSG: host = master/30.96.76.220
  6. STARTUP_MSG: args = [-format]
  7. STARTUP_MSG: version = 1.2.1
  8. STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by ‘mattf‘ on Mon Jul 22 15:23:09 PDT 2013
  9. STARTUP_MSG: java = 1.7.0_76
  10. ************************************************************/
  11. 16/09/10 17:03:49 INFO util.GSet: Computing capacity for map BlocksMap
  12. 16/09/10 17:03:49 INFO util.GSet: VM type = 64-bit
  13. 16/09/10 17:03:49 INFO util.GSet: 2.0% max memory = 1013645312
  14. 16/09/10 17:03:49 INFO util.GSet: capacity = 2^21 = 2097152 entries
  15. 16/09/10 17:03:49 INFO util.GSet: recommended=2097152, actual=2097152
  16. 16/09/10 17:03:50 INFO namenode.FSNamesystem: fsOwner=root
  17. 16/09/10 17:03:50 INFO namenode.FSNamesystem: supergroup=supergroup
  18. 16/09/10 17:03:50 INFO namenode.FSNamesystem: isPermissionEnabled=true
  19. 16/09/10 17:03:50 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
  20. 16/09/10 17:03:50 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
  21. 16/09/10 17:03:50 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
  22. 16/09/10 17:03:50 INFO namenode.NameNode: Caching file names occuring more than 10 times
  23. 16/09/10 17:03:50 INFO common.Storage: Image file /usr/hadoop-1.2.1/name/current/fsimage of size 110 bytes saved in 0 seconds.
  24. 16/09/10 17:03:51 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/hadoop-1.2.1/name/current/edits
  25. 16/09/10 17:03:51 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/hadoop-1.2.1/name/current/edits
  26. 16/09/10 17:03:51 INFO common.Storage: Storage directory /usr/hadoop-1.2.1/name has been successfully formatted.
  27. 16/09/10 17:03:51 INFO namenode.NameNode: SHUTDOWN_MSG:
  28. /************************************************************
  29. SHUTDOWN_MSG: Shutting down NameNode at master/30.96.76.220
  30. ************************************************************/

注意：上面只要出现“successfully formatted”就表示成功了。

6、启动hadoop

有这四项进程表示启动成功。

表示node1.node2 启动成功

7、通过网站查看集群情况

      访问：http://30.96.76.220:50030/jobtracker.jsp 

     

访问 http://30.96.76.220:50070/dfshealth.jsp

全部成功。周六没有白加班。

最后附上原文连接：

http://blog.csdn.net/ab198604/article/details/8250461

时间： 2024-10-07 19:59:05

hadopp 环境搭建的相关文章

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择 本地虚拟机 操作系统:linux CentOS 7 Cpu:2核 内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以

大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了.在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境,本文主要讲的是Hadoop+Spark 的环境.虽然搭建的是单机版,

一、环境搭建

1 更新到最新版本的pip(这是安装python扩展包的一个插件)命令如下: python -m pip install --upgrade pip 2 使用pip安装virtualenv,命令 pip install virtualenv  如果要指定版本号,pip install virtualenv==15.0.1(安装虚拟环境) 3 创建django虚拟环境,命令 virtualenv django_basic_venv 4 使用虚拟环境 需要进入到安装目录的Scripts文件夹下,运行

Ionic2环境搭建及文件目录介绍

[注]引用自:http://blog.csdn.net/jasonzds/article/details/53821184 1环境搭建 一年前研究混合框架,初步确定了四种方案给公司选择,ionic,hbuilder,wex5,react-native这四个框架各有优缺点,ionic和react-native是国外框架,相对好一点,文档更新很快,就不一一说了,大概的思路都是一样的,js逻辑实现,同时调用原生功能,h5,css3 UI实现,其实他们都有自己的ui框架,当时选择了国内的hbuiler,

Selenium+Java+Eclipse 自动化测试环境搭建

一.下载Java windows java下载链接 https://www.java.com/zh_CN/download/win10.jsp 二.安装Java 安装好后检查一下需不需要配置环境变量,现在java 8已经不用配置环境变量了,直接在命令行输入:java -version 三.下载和安装Eclipse windows Eclipse下载链接 https://www.eclipse.org/downloads/ 你也可以下载绿色版 四.下载selenium,然后解压 selenium

Qt在Mac OS X下的编程环境搭建（配置Qt库和编译器，有图，很清楚）

尊重作者,支持原创,如需转载,请附上原地址:http://blog.csdn.net/libaineu2004/article/details/46234079 在Mac OS X下使用Qt开发,需要配置Qt库和编译器.编译器只能使用苹果公司自主研发的Clang.1.分别下载并安装XCode和Command Line Tools(必须安装),安装完毕后,Clang就有了. https://developer.apple.com/downloads/ 2.下载Qt并默认安装 http://down

基于 Eclipse 的 MapReduce 开发环境搭建

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6055850.html 上周末本来要写这篇的,结果没想到上周末自己环境都没有搭起来,运行起来有问题的呢,拖到周一才将问题解决掉.刚好这周也将之前看的内容复习了下,边复习边码代码理解,印象倒是很深刻,对看过的东西理解也更深入了. 目录 1.概述 2.环境准备 3.插件配置 4.配置文件系统连接 5.测试连接 6.代码编写与执行 7.问题梳理 7.1 console 无日志输出问题 7.2

ICE分布式文件管理系统——ICE环境搭建（其二）

上一博文,我们讲述了ICE这个中间件的基本认识. 接下来我们讲述开发环境搭建. 其过程主要分为三步: 安装GCC-4.4.6.安装ICE-3.4.2.安装QT-4.7.3. (本文是基于LINUX下的ICE-3.4.2的安装,如果已安装了GCC(版本高于GCC-4.4.6亦可),请直接安装ICE) 一.安装GCC: (gcc各版本浏览地址:http://ftp.gnu.org/gnu/gcc/) 一般来说基于linux的操作系统都是默认安装了GCC的.假如说你的电脑没有的话 请百度一哈,可以解决

[Step-By-Step Angular2]（1）Hello World与自动化环境搭建

随着rc(release candidate,候选版本)版本的推出,万众瞩目的angular2终于离正式发布不远啦!五月初举办的ng-conf大会已经过去了整整一个月,大多数api都如愿保持在了相对稳定的状态——当然也有router这样的例外,在rc阶段还在大面积返工,让人颇为不解——不过总得说来,现在学习angular2不失为一个恰当的时机. Google为angular2准备了完善的文档和教程,按理说,官网(https://angular.io)自然是学习新框架的最好教材.略显遗憾的是,在B