HBASE 0.98版本安装,二步曲:安装HADOOP到集群

1、准备4台服务器


一台作为namenode

192.168.137.101 hd1


三台作为datanode

192.168.137.102 hd2
192.168.137.103 hd3
192.168.137.104 hd4


2、拉平所有服务器的时间

使用ntpdate


3、配置多机互信


4、解压hadoop

tar zxvf hadoop-2.2.0.tar.gz


5、移动hadoop到相应位置

mv hadoop-2.2.0 /home/hadoop/hadoop


6、在namenode建立相应目录

应该是755权限

mkdir /home/hadoop/hdfs
mkdir /home/hadoop/namenode
mkdir
/home/hadoop/tmp


7、在datanode建立相应的目录

mkdir /home/hadoop/hdfs
mkdir /home/hadoop/tmp


8、配置hadoop

配置文件有7个:

/home/hadoop/hadoop/etc/hadoop/hadoop-env.sh
/home/hadoop/hadoop/etc/hadoop/yarn-env.sh
/home/hadoop/hadoop/etc/hadoop/slaves
/home/hadoop/hadoop/etc/hadoop/core-site.xml
/home/hadoop/hadoop/etc/hadoop/hdfs-site.xml
/home/hadoop/hadoop/etc/hadoop/mapred-site.xml
/home/hadoop/hadoop/etc/hadoop/yarn-site.xml


# /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh
export
JAVA_HOME=/java
export HADOOP_HOME=/home/hadoop/hadoop


# /home/hadoop/hadoop/etc/hadoop/yarn-env.sh
export
JAVA_HOME=/java


# /home/hadoop/hadoop/etc/hadoop/slaves

hd2
hd3
hd4


#
/home/hadoop/hadoop/etc/hadoop/core-site.xml

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://hd1:9000</value>

</property>
<property>
    <name>io.file.buffer.size</name>

    <value>131072</value>

</property>
<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/home/hadoop/tmp</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.hosts</name>

    <value>*</value>
</property>
<property>

    <name>hadoop.proxyuser.hduser.groups</name>

    <value>*</value>
</property>

# /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml


<property>

    <name>dfs.namenode.secondary.http-address</name>
    <value>hd1:9001</name>

</property>

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/home/hadoop/namenode</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/home/hadoop/hdfs</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>3</name>

</property>

<property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

</property>


# /home/hadoop/hadoop/etc/hadoop/mapred-site.xml

<property>

    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hd1:10020</value>

</property>

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hd1:19888</value>

</property>


# /home/hadoop/hadoop/etc/hadoop/yarn-site.xml


<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

    <name>yarn.resourcemanager.address</name>

    <value>hd1:8032</value>

</property>

<property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>hd1:8030</value>

</property>

<property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hd1:8031</value>

</property>

<property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hd1:8033</value>

</property>

<property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hd1:8088</value>

</property>


8、拷贝hadoop到所有datanode

scp -r /home/hadoop/hadoop/ hd2:/home/hadoop/
scp -r
/home/hadoop/hadoop/ hd3:/home/hadoop/
scp -r /home/hadoop/hadoop/
hd4:/home/hadoop/


9、格式化namenode
hadoop namenode -format


10、启动dfs
start-dfs.sh


11、查看状态
http://hd1:50070/dfsnodelist.jsp

时间: 2024-08-10 00:07:13

HBASE 0.98版本安装,二步曲:安装HADOOP到集群的相关文章

HBASE 0.98版本安装,一步曲:编译HADOOP 2.2.0 x64版本

1.安装JDK 下载JDK 7u55版本,安装JDK和JRE都需要,JDK里面有tools.jar,这个jar包是一定需要的安装在/java上 2.下载Hadoop 2.2.0源代码 wget http://apache.dataguru.cn/hadoop/common/stable/hadoop-2.2.0-src.tar.gz解压缩tar zxvf hadoop-2.2.0-src.tar.gz -C /tmp 3.安装依赖包 yum -y install lzo-devel zlib-d

HBASE 0.98版本安装,三步曲:安装Zookeeper 3.4.5

1.下载zookeeper 3.4.5 2.解压 3.挪到合适的位置 /home/hadoop/zookeeper 4.设置一个zookeeper放置数据的位置 /home/hadoop/zk 5.修改zookeeper配置文件 vim /home/hadoop/zookeeper/conf/zoo.cfg tickTime=2000initLimit=10syncLimit=5dataDir=/home/hadoop/zkclientPort=2181 server.1=hd1:2888:38

HBASE 0.98版本安装,四步曲:安装HBAES 0.98

1.下载hbase-0.98.2-hadoop2-bin.tar.gz 2.解压缩 3.挪动hbase到相应的位置去/home/hadoop/hbase 4.配置hbase /home/hadoop/hbase/conf/hbase-site.xml <property> <name>hbase.rootdir</name> <value>hdfs://hd1:9000/hbase</value> </property> <pr

hadoop2 hive0.13.0 hbase 0.98.2版本集成错误总结

一. hadoop2.2.0的安装启动错误总结 关于hadoop在启动时datanode无法启动问题 1.core-site.xml文件中没有配置从节点 2.slave配置文件中没有添加从节点 3.所有节点的host链表不统一或有错位 4.因为多次formate namenode造成namenode和datanode的clusterID不一致 解决方案: 删除所有节点/home/hadoop/hadoop-2.2.0/dfs/data/下 curren目录 <name>hadoop.tmp.d

hbase 0.98.1集群安装

本文将基于hbase 0.98.1解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/details/24593597,转载请注明出处. 1. 安装与配置 1.1. 前置条件 确保已经安装了hadoop并保证hadoop运行正常.关于hbase与hadoop的版本号依赖关系,请參考:  https://hbase.apache.org/book/configuration.html#hado

在Eclipse上建立hbase 0.98.3/0.96.2源代码阅读环境

2.1. 切换到源代码目录,执行: mvn install -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911 黄色部分作用为设置代理.由于本人的编译环境在公司内网,所以需要设置代理 2.2. 生成eclipse项目环境: mvn eclipse:eclipse -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911 2.

基于HBase Hadoop 分布式集群环境下的MapReduce程序开发

HBase分布式集群环境搭建成功后,连续4.5天实验客户端Map/Reduce程序开发,这方面的代码网上多得是,写个测试代码非常容易,可是真正运行起来可说是历经挫折.下面就是我最终调通并让程序在集群上运行起来的一些经验教训. 一.首先说一下我的环境: 1,集群的环境配置请见这篇博文. 2,开发客户机环境:操作系统是CentOS6.5,JDK版本是1.7.0-60,开发工具是Eclipse(原始安装是从google的ADT网站下载的ADT专用开发环境,后来加装了Java企业开发的工具,启动Flas

在linux环境下安装redis并且搭建自己的redis集群

此文档主要介绍在linux环境下安装redis并且搭建自己的redis集群 搭建环境: ubuntun 16.04 + redis-3.0.6 本文章分为三个部分:redis安装.搭建redis集群 一.本机安装redis: 1.下载redis: wget http://download.redis.io/releases/redis-3.0.6.tar.gz 2.redis安装解压.编译与安装:安装路径在root用户下的:~/softwares文件下 解压:先将安装包放到~/softwares

OpenCV-2.4.2 安装三步曲

注意:本人未使用  ffmpeg 的全部依赖库,比如AAC 音频编码库(libfaac-dev),MP3 编码库(ibmp3lame-dev),具体的配置为: ./configure --enable-shared --enable-gpl --enable-version3 --enable-nonfree --enable-x11grab --enable-libx264 --enable-libxvid ===========================================