hbase安装,以及安装前置hadoop(单节点)

1、hadoop下载

  https://archive.apache.org/dist/hadoop/common/

这里我下载的是: hadoop-2.7.4.tar.gz

1-1首先做ssh免密码登录设置

  ssh-keygen -t rsa,三次回车后,在/root/.ssh/会生成id_rsa,id_rsa.pub文件
1-2 将id_rsa.pub公钥内容拷贝到authorized_keys文件中

  cat id_rsa.pub >> authorized_keys

1-3、授权

 chmod 600 authorized_keys

1-4、免密码登录已经设定完成,可以ssh -l ip试一下

2-hadoop安装,主要是配置以下几个文件:

  2-1、vim hadoop-env.sh

       export JAVA_HOME=/usr/java/jdk1.7.0_60

  2-2:core-site.xml

  <configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://主机名:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/需要自己创建的目录或者指定一个存在的目录</value>

</property>

  </configuration>

  2-3、hdfs-site.xml

    <configuration>

<property>

         <name>dfs.replication</name>

  <value>1</value>

</property>

  </configuration>

  2-4、cp mapred-site.xml.template mapred-site.xml,然后vim mapred-site.xml

  <configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

  2-5、

yarn-site.xml

  <configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>主机名</value>

</property>

  </configuration>

3.将Hadoop添加到环境变量中

  vim /etc/profile

  export HADOOP_HOME=/itcast/hadoop-2.2.0

  export PATH=$PATH:$HADOOP_HOME/bin

   #使配置生效

source /etc/profile

4.初始化HDFS(格式化文件系统,此步类似刚买U盘需要格式化)

hdfs namenode -format

5.启动文HDFS和YARN

./start-dfs.sh

 ./start-yarn.sh

6、启动后,jps,看到如下进程就是成功了:

3449 SecondaryNameNode (相当于NameNode的助理)

3263 DataNode (hdfs部门的小弟,负责存放数据)

3138 NameNode (hdfs部门的老大)

3579 ResourceManager (yarn部门的老大,yarn负责资源管理)

3856 NodeManager (yarn部门的小弟,可以一个,集群的话会有很多)

8、hbase安装:

8-1、hbase官网下载hbase,我这里下载的是:hbase-1.2.6-bin.tar.gz

主要修改以下配置文件

8-2、hbase-env.sh:

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

export HBASE_MANAGES_ZK=false

8-3、hbase-site.xml:

23 <configuration>
24 <property>
25 <name>hbase.rootdir</name>
26 <value>hdfs://master-luoxin:9000/hbase</value>
27 <description>The directory shared by RegionServers.</description>
28 </property>
29  <property>
30 <name>hbase.master.info.port</name>
31 <value>60010</value>
32 </property>
33 <property>
34 <name>hbase.zookeeper.quorum</name>
35 <value>master-luoxin</value>
36 </property>
37 <property>
38 <name>dfs.replication</name>
39 <value>1</value>
40 </property>
41 <property>
42 <name>hbase.cluster.distributed</name>
43 <value>true</value>
44 <description>The mode the cluster will be in.</description>
45 </property>
46
47 </configuration>

8-4、启动hbase,./start-hbase.sh

8-5、jps,能看到,就成功了

46890 HMaster

8-6 验证 ./hbase shell进去看看吧,list查看一下表,如果有错请百度一下,

以上亲测,进入habse,list命令可能会报zookerper node XXXX,请百度,试一下很容易解决的。

原文地址:https://www.cnblogs.com/comeSH150713/p/10492704.html

时间: 2024-07-31 06:44:41

hbase安装,以及安装前置hadoop(单节点)的相关文章

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win

实战1 伪分布式Hadoop单节点实例 CDH4集群安装 Hadoop

Hadoop由两部分组成 分布式文件系统HDFS 分布式计算框架MapReduce 其中分布式文件系统(HDFS)主要用于大规模数据的分布式存储,而MapReduce则构建在分布式文件系统之上,对于存储在分布式文件系统中的数据进行分布式计算. 详细的介绍个节点的作用 NameNode: 1.整个Hadoop集群中只有一个NameNode.它是整个系统的中枢,它负责管理HDFS的目录树和相关文件 元数据信息.这些信息是以"fsimage (HDFS元数据镜像文件)和Editlog(HDFS文件改动

Hadoop单节点安装(转)

Hadoop单节点模式安装 官方教程:http://hadoop.apache.org/docs/r2.7.3/ 本文基于:Ubuntu 16.04.Hadoop-2.7.3 一.概述 本文参考官方文档介绍Hadoop单节点模式(本地模式及伪分布式模式)安装(Setting up a Single Node Cluster). 1.Hadoop安装的三种模式 (1)单机模式(standalone) 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环

一、hadoop单节点安装测试

一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题.而现在的hadoop更是形成了一个生态体系,如图: 上图大体展示了hadoop的生态体系,但并不完整.总而言之,随着hadoop越来越成熟,也会有更多地成员加入hadoop生态体系中. hadoop官方网站:http://

【大数据系列】hadoop单节点安装官方文档翻译

Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms Required Software Installing Software Download Prepare to Start the Hadoop Cluster Standalone Operation Pseudo-Distributed Operation Configuration Setu

Hadoop单节点环境搭建

下面介绍怎么在linux系统上设置和配置一个单节点的Hadoop,让你可以使用Hadoop的MapReduce和HDFS(Hadoop Distributed File System)做一些简单的操作. 准备工作 1)下载Hadoop:2)为你的linux系统安装JDK,推荐的JDK版本可以在这里(http://wiki.apache.org/hadoop/HadoopJavaVersions)查看:3)为你的系统安装ssh. 设置环境变量 1)为Hadoop设置JDK信息: export JA

Hadoop Single Node Cluster——Hadoop单节点集群的安装

Hadoop Single Node Cluster只以一台机器来建立Hadoop环境,仍然可以使用Hadoop命令,只是无法发挥使用多台机器的威力. 安装JDK 因为Hadoop是以Java开发的,所以必须先安装Java环境.本文是以Ubuntu系统为例 安装前查看java版本 在命令终端输入  java -version 查看 安装成功 返回的是 java 版本,未安装会提示包含在下列软件包中,执行下列命令安装 sudo apt-get update sudo apt-get install

hadoop单节点安装

java环境变量===================================== export JAVA_HOME=/home/test/setupPackage/jdk1.7.0_67 export JRE_HOME=/home/test/setupPackage/jdk1.7.0_67/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools

hadoop单节点windows 7 环境搭建

Windows上搭建hadoop开发环境 前言 Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者的好处是使用比较方便,安装过程也简单,本篇文章是介绍第二种方式Cygwin模拟Linux环境. 准备工作 (1)安装JDK1.6或更高版本,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会