Hadoop安装方案

一、概述

本文档适用于hadoop安装，采用1主+1从的方案，两台设备，可自由扩展多从节点。包含hadoop+habase+zookeeper，可作为通用hadoop框架安装的参考。

二、主机规划

主节点（Namenode）：10.11.20.108

hadoop+habase

从节点（Datanode）： 10.11.20.107

hadoop+habase+zookeeper

ps：从节点的hadoop+habase只需复制主节点配置好的目录

启动顺序：从节点zookeeper > 主节点hadoop > 主节点habase

三、环境准备

在两台主机同时配置：

1）修改IP和域名映射关系

vi /etc/hosts

10.11.20.107 njrd107

10.11.20.108 njrd108

2）创建用户

useradd -m -d /home/aihadoop -s /bin/csh -g aigrp aihadoop

passwd aihadoop

3）主从节点信任关系

1.在各节点aihadoop下执行以下操作

cd .ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

2.将各节点的authorized_keys文件合成一个文件，然后覆盖到各节点.ssh下

3.验证：从10.11.20.108主机ssh [email protected]

从10.11.20.107主机ssh [email protected]

若都不需要输入密码则配置成功

四、应用搭建

1）准备安装文件

复制aihadoop.tar.gz到主节点安装目录

2）配置主节点hadoop

修改/home/aihadop/hadoop/conf目录下配置文件：

修改core-site.xml

<name>fs.default.name</name>

<value>hdfs://10.11.20.107:59000</value> --------- namenode RPC交互端口

</property>

<name>hadoop.tmp.dir</name>

<value>/home/aihadoop/hadoop/temp</value> --------该目录需要手动创建

</property>

</configuration>

创建临时目录

mkdir -p /home/aihadoop/hadoop/temp

修改hdfs-site.xml

<name>dfs.replication</name>

<value>1</value> ---------------------有几个从节点就写几

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<value>/home/aihadoop/hadoop/hdfs/name</value>

</property>

<value>/home/aihadoop/hadoop/hdfs/data</value>

</property>

<name>dfs.datanode.max.xcievers</name>

</property>

<name>dfs.support.append</name>

</property>

<name>dfs.http.address</name>

<value>0.0.0.0:56870</value> -----------NameNode web管理端口，默认50070

</property>

<name>dfs.datanode.address</name>

<value>0.0.0.0:56810</value> ------------datanode　控制端口，默认50010

</property>

<name>dfs.datanode.ipc.address</name>

<value>0.0.0.0:56820</value> -------datanode的RPC服务器地址和端口，默认50020

</property>

<name>dfs.datanode.http.address</name>

<value>0.0.0.0:56875</value>------datanode的HTTP服务器和端口，默认50075

</property>

<name>dfs.secondary.http.address</name>

<value>0.0.0.0:56890</value>-----secondary NameNode web管理端口，默认50090

</property>

<name>dfs.support.append</name>

</property>

</configuration>

修改masters，新增主节点信息

10.11.20.107

修改slaves，新增从节点信息

10.11.20.108

修改mapred-site.xml

<name>mapred.job.tracker</name>

<value>10.11.20.107:49201</value> ------------ job tracker交互端口

</property>

<name>mapred.local.dir</name>

<value>/home/aihadoop/hadoop/var</value>

</property>

<name>mapred.job.tracker.http.address</name>

<value>0.0.0.0:56830</value>--------- job tracker的web管理端口

</property>

<name>mapred.task.tracker.http.address</name>

<value>0.0.0.0:56860</value>------------- task tracker的HTTP端口

</property>

<name>mapred.tasktracker.map.tasks.maximum</name>

</property>

<name>mapred.tasktracker.reduce.tasks.maximum</name>

</property>

3）配置从节点hadoop

复制主节点信息至从节点：

scp -r hadoop [email protected]：.

4）配置从节点zookeeper

复制安装文件到从节点：

scp -r zookeeper [email protected]：.

修改/home/aihadop/zookeeper/conf下配置信息

修改zoo.cfg

dataDir=/home/amstest/zookeeper/zookeeper-3.4.5/data

clientPort=12281 ------------客户端连接的端口，该端口与hbase /conf/ hbase-site.xml中的hbase.zookeeper.property.clientPort 保持一致

server.1=10.11.20.108:12988:13988

---- server.1中的1需要在zookeeper/data/myid 文件中写入1,没有该文件和目录，需要新建

----12988是ZooKeeper节点使用的端口，需要与hbase /conf/ hbase-site.xml中一致

----13988是ZooKeeper用来选择Leader的端口，需要与hbase /conf/ hbase-site.xml中一致

5）配置主节点habase

修改/home/aihadop/hbase/conf目录下配置信息

修改hbase-site.xml

<name>hbase.rootdir</name>

<value>hdfs://10.11.20.107:59000/hbase</value> ----该端口需要与hadoop中core-site.xml的fs.default.name保持一致，该目录用于持久化HBase，是region server的共享目录，即HBase数据库数据的目录

</property>

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.tmp.dir</name>

<value>/home/aihadoop/hbase/data</value> ---根据实际环境修改

</property>

<name>hbase.master</name>

<value>10.11.20.107:60100</value> ---与下面的hbase.master.port一致

</property>

<name>hbase.zookeeper.quorum</name>

<value>10.11.20.108</value>---根据实际环境修改，填从节点信息，多个用“，”隔开

</property>

<name>hbase.master.port</name>

<value>60100</value> ------------------ HBase的Master端口，默认是60000

</property>

<name>hbase.master.info.port</name>

<value>60110</value>---------- HBase Master web界面端口，默认是60010

</property>

<name>hbase.regionserver.port</name>

<value>60120</value>---HBase RegionServer端口，默认是60020。

</property>

<name>hbase.regionserver.info.port</name>

<value>60130</value>--- HBase RegionServer web界面端口，设置为-1，意味着你不想运行RegionServer界面，默认是60030。

</property>

<name>hbase.zookeeper.property.clientPort</name>

<value>12281</value> ----------需要与zookeeper的配置对应

</property>

<name>hbase.zookeeper.peerport</name>

<value>12988</value>----------需要与zookeeper的配置对应

</property>

<name>hbase.zookeeper.leaderport</name>

<value>13988</value> ----------需要与zookeeper的配置对应

</property>

<name>hbase.zookeeper.property.datadir</name>

<value>/home/aihadoop/zookeeper</value> ---根据实际环境修改

</property>

<name>zookeeper.session.timeout</name>

</property>

<name>hbase.regionserver.handler.count</name>

</property>

<name>hbase.hregion.max.filesize</name>

</property>

<name>hbase.hregion.memstore.flush.size</name>

</property>

</configuration>

修改hbase-env.sh

export HBASE_MANAGES_ZK=false-----------------------不用hbase自带的ZK管理

配置regionservers文件，新增节点

10.11.20.108 ---------------------------这里写从节点ip

5）配置从节点habase

复制主节点信息至从节点：

scp -r hbase [email protected]：.

6）端口检查

下面这段脚本可以简单检查端口情况，只需要把配置的14个端口列进去即可

#!/usr/bin/ksh

list=‘

49000

56770

56710

56720

56775

56790

49001

56730

56760

60000

60010

12181

12888

13888

‘

for i in $list

netstat -an|grep ${i}

done

五、启动

初次启动需要格式化hadoop磁盘空间，以后启动不需要

cd /home/aihadoop/hadoop/bin;./hadoop namenode –format

按顺序执行：

从节点cd /home/aihadoop/zookeeper/bin;./zkServer.sh start

主节点cd /home/aihadoop/hadoop/bin;./ start-all.sh

登录http://10.11.20.107:56870/，可查看状态

主节点cd /home/aihadoop/ hbase/bin;./ start-hbase.sh

登录http://10.11.20.107:60110/，可查看状态

验证：

cd hbase/bin

./hbase shell

HBase Shell; enter ‘help<RETURN>‘ for list of supported commands.

Type "exit<RETURN>" to leave the HBase Shell

Version 0.94.12, r1524863, Fri Sep 20 00:25:45 UTC 2013

hbase(main):011:0> create ‘t1‘, ‘f1‘

0 row(s) in 1.0830 seconds

hbase(main):012:0> list

TABLE

1 row(s) in 0.0370 seconds

时间： 2024-07-28 20:56:54

Hadoop安装方案的相关文章

Hadoop学习笔记0001——Hadoop安装配置

Hadoop配置主要事项 1. 保证Master和Slave能够ping通: 2. 配置/etc/hosts文件: 3. 能够ssh无密码切换各台主机: 4. 安装sun公司的jdk,在/etc/profile中设置好环境变量: 5. 下载Hadoop,安装.配置.搭建Hadoop集群: 1.Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(

hadoop学习笔记(一)——hadoop安装及测试

这几天乘着工作之余,学习了一下hadoop技术,跌跌撞撞的几天,终于完成了一个初步的hadoop的安装及测试,具体如下: 动力:工作中遇到的数据量太大,服务器已经很吃力,sql语句运行老半天,故想用大数据技术来改善一下环境:centos5.11+jdk1.7+hadoop2.5.2 1. 伪分布安装步骤关闭防火墙修改ip 修改hostname 设置ssh自动登录安装jdk 安装hadoop 注:此部分涉及到的Linux操作部分可以再下面的链接中找到,Linux初级操作 2. 安装jd

Hadoop安装详解及安装错误的解决方案

特此声明:本内容所有详细内容一下面提供的附件形式出现,了解详细内容可查看附件从4月28号搭建hadoop平台,到今天已经足足5天了,不断地改配置,敲命令,可以说真是人生一大快事吗?好了废话不多说,正式进入我的安装过程: 目录: 第一篇:Ubuntu13.1安装第二篇:Sublime Text2安装第三篇:hadoop+jdk1.8.0安装+ssh无密码登录第四篇:出现的问题及解决办法(见另一篇博客) 正文: 第一篇: 我用的是Ubuntu13.1,大家可以到我的云盘下载,下面是链接: h

hadoop安装教程

hadoop的核心 Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase.Hive等,这些都是基于HDFS和MapReduce发展出来的.要想了解Hadoop,就必须知道HDFS和MapReduce是什么. HDFS HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上.HDFS能提供高吞吐量的数据访问,适

转载：Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

分布式Hadoop安装

本文旨在介绍通过两台物理节点,实现完全分布式hadoop程序的部署 writen by [email protected] 环境介绍: 主机名机器IP 用途描述 Hadoop0 192.168.80.101 Namenode secondaryNamenode jobTracker CentOS6.4 jdk-6u24-linux-i586 hadoop-1.1.2 Hadoop1 192.168.80.102 Datanode taskTracker CentOS6.4 jdk-6u24-

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

参见:http://www.powerxing.com/install-hadoop/ 完全拷贝至上面网址环境本教程使用 Ubuntu 14.04 64位作为系统环境(Ubuntu 12.04 也行,32位.64位均可),请自行安装系统. 如果用的是 RedHat/CentOS 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,

hadoop安装和hadoop pipes编程说明

本篇文章主要是对hadoop pipes编程的一些问题的备注,对于网上常见的问题,并未完全写入. 安装基础环境:3台基于centos7的虚拟机(1个master,2个slave:slave1.slave2).hadoop-2.6.0 1. hadoop安装主要参考的网址是:hadoop参考安装 2. linux配置ssh免密码登录,具体参考的是:centos ssh免密码登录 tips: 1. 三个虚拟机的一定要用一样的帐号,即用户名.如果不一样的话,通过ssh进行免密码登录时会出现问题.比如

Alex 的 Hadoop 菜鸟教程: 第4课 Hadoop 安装教程 - HA方式 (2台服务器)

声明本文基于Centos 6.x + CDH 5.x 官方英文安装教程 http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_cdh5_install.html 本文并不是简单翻译,而是再整理如果没有yum源请参考http://blog.csdn.net/nsrainbow/article/details/36629339#t2 准备工作用vm