hbase on spark

1.在spark的伪分布式环境下安装HBASE

(1)版本:我使用的spark版本是1.3.0,使用的hbase版本是hbase-0.94.3

(2)解压,tar zxvf  hbase-0.94.3.tar.gz 到我的目录中,我的目录使用的

(3)配置环境变量 vim /etc/profile

  

1 export HBASE_HOME=/opt/data02/modules/hbase-0.94.16
2 export PATH=$PATH:$HBASE_HOME/bin

(4)hbase配置:

第一个配置的是:$HBASE_HOME/conf/hbase-env.sh,添加如下内容,最后一行添加export HBASE_MANAGES_ZK=true,表示使用HBase自带的zookeeper

1 export JAVA_HOME=/opt/data02/modules/jdk1.7.0_25
2 export HBASE_HOM=E/opt/data02/modules/hbase-0.94.16
3 export HBASE_MANAGES_ZK=true

第二个配置的是:$HBASE_HOME/conf目录中的hbase-site.xml,添加以下内容

 1 <configuration>
 2         <property>
 3                 <name>hbase.rootdir</name>
 4                 <value>hdfs://spark-master.dragon.org:54310/hbase</value>
 5         </property>
 6         <property>
 7                 <name>hbase.cluster.distributed</name>
 8                 <value>true</value>
 9         </property>
10         <property>
11                 <name>hbase.master</name>
12                 <value>spark-master.dragon.org:54311</value>
13         </property>
14         <property>
15                 <name>hbase.zookeeper.quorum</name>
16                 <value>spark-master.dragon.org</value>
17         </property>
18
19 </configuration>

在添加的时候值得注意的是,spark-master.dragon.org是主机名,不能换成IP地址,如果换成IP地址,在启动/habse的时候,/hmaster会发现无法启动

最后别忘了,设置环境变量立即生效: source /etc/profile

(5)启动,首先需要启动hadoop,然后启动hbase,如果最后,HQuorumPeer,HMaster,HRegionServer全部启动,则安装成功

时间: 2024-11-05 11:39:25

hbase on spark的相关文章

CDH5上安装Hive,HBase,Impala,Spark等服务

Apache Hadoop的服务的部署比较繁琐,需要手工编辑配置文件.下载依赖包等.Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤.由于需要对Hive,HBase,Impala,Spark进行功能测试,就采用了Cloudera Manager方式进行安装. Cloudera Manager提供两种软件包安装源,Package 和 Parcel: Package就是一个个rpm文件,以yum的方式组织起来. Parcel是rpm包的压缩格式,以.parcel结

【Todo】【转载】全栈工程师-Hadoop, HBase, Hive, Spark

学习参考这篇文章: http://www.shareditor.com/blogshow/?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统, hadoop用于分布式存储和map-reduce计算, spark用于分布式机器学习, hive是分布式数据库, hbase是分布式kv系统, 看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理, 本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系.

启动Hadoop HA Hbase zookeeper spark

备注:我的公钥文件在/home/hxsyl/.ssh下不在/root/hxsyl下,通过 find / -name id_rsa 查找 1.分别在每个机器上运行命令zkServer.sh start或者在$ZOOKEEPER_HOME/bin目录下运行./zkServer.sh start命令.然后可以通过命令jps来查看Zookeeper启动的进程QuorumPeerMain. 可通过zkServer.sh status命令来查看Zookeeper状态.正常是机器中只有一个leader,其他的

搭建Hbase和Spark环境

前期准备: 1.默认已经搭建好了hadoop环境(我的hadoop版本是2.5.0) 2.这里我用的Hbase是0.98.6,spark是1.3.0 一.搭建Hbase 1.上传Hbase安装包,将/opt/software下的hbase安装包解压到/opt/app目录下 2.进入hbase目录下,修改配置文件 1>修改hbase-env.sh文件 将export  JAVA_HOME = 你的Java安装路径,我的路径是/opt/app/jdk1.7.0_79 所以改完后是 export  J

Hadoop,Zookeeper,Hbase,Hive,Spark,Kafka,CDH,impala,azkaban,oozie,hue中webui常用端口

Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 Zookeeper: 2181 : 客户端连接zookeeper的端口 2888 : zookeeper集群内通讯使用,Leader监听此端口 3888 : zookeeper端口 用于选举leader Hbase: 60010

hadoop+hbase+zookeeper+spark+phoenix相关实施报错处理

排错日志: 解决办法:可能是修改 机器名导致的,修改hosts,写入hostname和IP,然后,try it agin! 解决办法: 当引入hadoop-common-2.2.0.jar包进行二次开发,比如读写HDFS文件时,初次运行报错. java.io.IOException: No FileSystem for scheme: hdfs at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)

Spark踩坑记——数据库(Hbase+Mysql)转

转自:http://www.cnblogs.com/xlturing/p/spark.html 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时,我们往往需要操作数据库,去统计或者改变一些值.最近一个实时消费者处理任务,在使用spark streaming进行实时的数据流处理时,我需要将计算好的数据更新到hbase和mysql中,所以本文对spark操作hbase和mysql的内容进行总结,并且对自己踩到的一些坑进行记录. Spark Streaming持久化设计

【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂

Spark亚太研究院100期公益大讲堂 [第5期互动问答分享] Q1:spark怎样支持即席,应该不是spark sql吧,是hive on spark么? Spark1.0 以前支持即席查询的技术是Shark; Spark 1.0和 Spark 1.0.1支持的即席查询技术是Spark SQL; 尚未发布的Spark 1.1开始 Spark SQL是即席查询的核心,我们期待Hive on Spark也能够支持即席查询: Q2:现在spark 1.0.0版本是支持hive on spark么,它

Apache顶级项目介绍6 - Spark

火花四溢,热情洋溢.极客朋友么知道,我们翘首以盼的Spark来了. 提及Spark, 这几年如日中天,谈到大数据如果不提及Spark, Hadoop,就好比这年代带耳机不是2B的,你都不好意思带.Spark最初由加州大学伯克利分校(太屌的大学,出了多少名人,名作啊)的AMPLab Matei为主的小团队使用Scala开发,其核心代码只有63个Scala文件(早期版本,这里提及一下Scala语言又是一个创时代的大作,有人说它太锋利,有人说它太妖魔). Spark作者Matei: Spark于201