伪分布式Hadoop + zookeeper + Hbase

目的:

  CentOS7 安装 Hadoop 伪分布式环境

组件版本信息:

  Hadoop: 2.7.7

  Hbase: 1.4.8

  zookeeper:3.4.7

资料下载:

  资料包含:虚拟机安装包,CentOS7镜像,所需组件

  链接:https://pan.baidu.com/s/1-Ye0vppf19bYQ9SUEDqHXg   提取码:hysl

Linux 设置:

  (1.)关闭防火墙:

  systemctl stop firewalld.service            #停止firewall
  systemctl disable firewalld.service        #禁止firewall开机启动

免密登陆  ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  chmod 0600 ~/.ssh/authorized_keys

  (2.)修改主机名:

  vim /etc/hosts  【添加 IP 和自定义主机名】

  vim /etc/hostname  【删除原有内容,替换为自定义主机名】

  

   (3.)重启虚拟机

   reboot  / init 6

  =================【安装前 准备】=================

    cd /usr/local

    mkdir mytars bigdata

    所有 软件包存放在 /usr/local/mytars 

    所有 文件解压在 /usr/local/bigdata  

  ==============================================

  (4.)安装jdk

    <1.> 查看 是否自带openJDK

   

    <2.> 删除 openJDK

   使用 rpm -e --nodeps ... 命令进行删除;删除标准以不删除不带箭头的内容为标准

  

    <4.> 安装JDK

#cd /usr/local
#mkdir java
#tar java.tar.gz -C /usr/local/java

    <5.> 配置环境变量

    vim /etc/profile

  (5.)安装 Hadoop   【解压命令就不写了】

    <1.> 修改配置文件

  

================>>>>>>> core-site.xml  <property>         <name>hbase.rootdir</name>         <value>hdfs://xuyf:9000/hbase</value>     </property>     <property>         <name>hbase.cluster.distributed</name>         <value>true</value>     </property>     <property>        <name>hbase.master</name>        <value>xuyf:60000</value>      </property>     <property>         <name>hbase.zookeeper.quorum</name>         <value>xuyf</value>     </property>     <property>        <name>hbase.tmp.dir</name>        <value>/root/hbase/tmp</value>    </property>
================>>>>>>> hadoop-env.sh  export JAVA_HOME=/usr/local/java/jdk1.8.0_161
================>>>>>>> hdfs-site.xml  <property>        <name>dfs.replication</name>        <value>1</value>    </property>        <property>        <name>dfs.namenode.name.dir</name>        <value>/usr/local/bigdata/hadoop-2.7.7/tmp/dfs/name</value>       </property>     <property>        <name>dfs.datanode.data.dir</name>        <value>/usr/local/bigdata/hadoop-2.7.7/tmp/dfs/data</value>    </property>

    <property>        <name>dfs.namenode.secondary.http-address</name>        <value>xuyf:50090</value>    </property>
================>>>>>>> mapred-site.xml  <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>

================>>>>>>> yarn-site.xml  <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>

    <2. > 配置环境变量  【包括所有组件的配置方法,SO  后面不再写了】

    修改命令:vim /etc/profile

     使之生效:source   /etc/profile

    <3. > 格式化namenode 启动并检查

// 格式化namenodecd  hadoop2.7.7/bin/./hdfs namenode -format// 启动 Hadoopcd  hadoop2.7.7/sbin/./start-all.sh

// 检查方式:(1.) jps ==> 显示:namenode,secondarynamenode,datanode,nodemanager.resourcemanager(2.) 检查namenode web页面:  主机ip / 主机映射名:50070

  (6.) 安装Zookeeper

    <1.> 进入conf目录并拷贝默认的配置文件模板zoo_sample.cfg,并命名为zoo.cfg,并修改

// 修改dataDir=/usr/local/bigdata/zookeeper-3.4.7/data
dataLogDir=/usr/local/bigdata/zookeeper-3.4.7/logs// 结尾处添加
server.1=xuyf:2888:3888

    <2. >创建dataDir 和 dataLogDir 目录。

    <3. >echo 1 > /usr/local/bigdata/zookeeper-3.4.7/data/myid

    <4. >执行bin目录下的zkServer.sh start ,启动zookeeper

  (7.)  安装Hbase

    <1. >修改配置文件

================>>>>>>> hbase-env.shexport JAVA_HOME=/usr/local/java/jdk1.8.0_161export HADOOP_HOME=/usr/local/bigdata/hadoop-2.7.7export HBASE_HOME=/usr/local/bigdata/hbase-1.4.8export HBASE_CLASSPATH=/usr/local/bigdata/hadoop-2.7.7/etc/hadoopexport HBASE_MANAGES_ZK=false
================>>>>>>> hbase-site.xml    <property>         <name>hbase.rootdir</name>         <value>hdfs://xuyf:9000/hbase</value>     </property>     <property>         <name>hbase.cluster.distributed</name>         <value>true</value>     </property>     <property>        <name>hbase.master</name>        <value>xuyf:60000</value>      </property>     <property>         <name>hbase.zookeeper.quorum</name>         <value>xuyf</value>     </property>     <property>        <name>hbase.tmp.dir</name>        <value>/root/hbase/tmp</value>    </property>

================>>>>>>> regionservers  xuyf

    <2. >注意事项:

     hbase-site.xml中hbase.tmp.dir指定hbase的临时数据存储目录为/root/hbase/tmp,注意启动hbase前需要提前建立好对应目录

    <3. >执行bin目录下的start-hbase.sh 启动 Hbase

    <4.>检查

      jps   ==》HMaster ,HRegionServer

      web ==》主机ip / 主机映射名:16010

原文地址:https://www.cnblogs.com/Sleepy-ff/p/11737339.html

时间: 2024-10-27 08:07:26

伪分布式Hadoop + zookeeper + Hbase的相关文章

实战1 伪分布式Hadoop单节点实例 CDH4集群安装 Hadoop

Hadoop由两部分组成 分布式文件系统HDFS 分布式计算框架MapReduce 其中分布式文件系统(HDFS)主要用于大规模数据的分布式存储,而MapReduce则构建在分布式文件系统之上,对于存储在分布式文件系统中的数据进行分布式计算. 详细的介绍个节点的作用 NameNode: 1.整个Hadoop集群中只有一个NameNode.它是整个系统的中枢,它负责管理HDFS的目录树和相关文件 元数据信息.这些信息是以"fsimage (HDFS元数据镜像文件)和Editlog(HDFS文件改动

hadoop+zookeeper+hbase 开机自启动

hadoop2.7.3+zookeeper3.4.9+hbase1.2.6 我想让它们实现开机自启动,需要2个脚本实现.h1.sh 和h2.sh. #!/bin/bash #discribe: 实现hadoop+zookeeper+hbase  开机自启动 #对我非常有用的链接:ssh 到其他机器,实现zk启动.https://zhidao.baidu.com/question/1447196109490350780.html #while true 我会用,但不熟. #有小人挡路,不要怕.也不

Centos6下安装伪分布式Hadoop集群

Centos6下安装伪分布式hadoop集群,选取的hadoop版本是apache下的hadoop2.7.1,在一台linux服务器上安装hadoop后,同时拥有namenode,datanode和secondarynamenode等节点的功能,下面简单安装下. 前置准备 主要涉及防火墙关闭.jdk安装.主机名修改.ip映射.免密登录设置等. 关闭防火墙 有临时和永久,这里使用永久关闭的方式. # 临时关闭 [[email protected] ~]# service iptables stop

Hadoop 伪分布式上安装 HBase

hbase下载:点此链接  (P.S.下载带bin的) 下载文件放入虚拟机文件夹,打开,放在自己指定的文件夹 tar -zxf /home/tools/hbase-1.2.6-src.tar.gz -C /home/software/ 修改环境配置 gedit /etc/profile //修改环境配置 //文件中添加 export HBASE_HOME=/home/software/hbase-1.2.6 export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME

hadoop生态圈安装详解(hadoop+zookeeper+hbase+pig+hive)

目录 1.hadoop分布式安装 2.zookeeper分布式安装 3.hbase分布式安装 4.pig分布式安装 5.hive客户端安装

配置单节点伪分布式Hadoop

先写的这一篇,很多东西没再重复写. 一.所需软件 jdk和ubuntu都是32位的. 二.安装JDK 1.建jdk文件夹 cd usr sudo mkdir javajdk 2.移动mv或者复制cp安装包 //进入桌面 cd home/hxsyl/DeskTop sudo mv /usr/javajdk 3.安装 //切换到root下 //如果忘记密码,先 sudo passwd //直接会让你输入新密码,不需要输入原来的密码 //到jdk目录下 ./jdk-6u30-linux-i586.bi

伪分布式 hadoop 2.6.4

说明: 任务:搭建Hadoop伪分布式版本. 目的:快速搭建一个学习环境,跳过这一环境,快速进入状态,使用Hadoop一些组件做些任务 没有选择2.7,觉得bug比较多,不稳定. 选择伪分布式简单快速 环境: Win 7  64  8G 内存 ,4核 VM 12,1 虚拟机  3G 内存 ubuntu 4.4.0  x86-64 Hadoop 2.6.4 JDK 1.7.0_80 1.  虚拟机Linux准备 安装虚拟机,(可以选择克隆方式),网络选择NAT. 创建用户hadoop,  配置 s

分布式Hadoop和HBase整合

环境: CentOS 6.6                hadoop-2.6.0            hbase-0.98.10.1 HBase1    192.168.1.4     Master HBase2    192.168.1.5     Slave1 HBase3    192.168.1.6     Slave2 准备工作: 新建hadoop账户 每台主机都需要设置 useradd hadoop passwd hadoop 切换到hadoop用户,以下操作全部使用hadoo

伪分布式安装Hadoop + zookeeper + hbase安装配置

一.  安装JDK,配置环境JAVA环境变量 exportJAVA_HOME=/home/jdk1.6.0_27 exportJRE_HOME=/home/jdk1.6.0_27/jre exportANT_HOME=/home/apache-ant-1.8.2 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 二.  安装Hadoop-1.0.3 1.     下载hadoop文件,地址为:http://hadoop.apac