HBase完全分布式安装以及Hive远程模式(mysql作为数据库)的安装

各位真的不好意思。上次的博文有误。上次的应该是HBase的伪分布式安装。这次本人保证是完全分布式安装。

首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1,故也就省去了覆盖jar包的步骤以及排除了覆盖带来的不稳定性。OK,下载后解压,进入conf目录,配置hbase-env.sh文件。如图。这里HBASE_CLASSPATH是指向hadoop的conf目录的,这点需要注意。

下面是打开zookeeper。

接下来是配置hbase-site.xml。这里的HDFS文件系统中的hbase目录需要新建。然后最后两个属性分别是指定zookeeper的几个节点和存放数据的目录。

最后是配置regionserver。HMaster是h2,regionserver是h3,h4.

启动HBase。在这之前,需要确保hadoop已经启动!

接下来是关闭hbase。

下面是Hive的远程模式的安装(mysql作为元数据库)。这里搭建的环境是hadoop-1.2.1+hive-0.12.0。

首先是下载hive解压,进入conf目录。将hive-env.sh.template复制成hive-env.sh。然后配置如下选项。

第一个是HADOOP_HOME=/home/leung/hadoop1(这是根据你安装hadoop的目录决定);第二个是HIVE_CONF_DIR=/home/leung/hive/conf(这是根据你的hive目录位置决定)。下面是将hive-default.xml复制成hive-site.xml。然后配置几个属性。如图。首先是改变metastore.local属性,改成false。

首先是指定mysql位置,然后是本机thrift,最后是jdbc driver名字。

指定连接mysql的用户名和密码。这个用户必须首先在mysql中新建并赋予一定的权限!

最后是将下面这个属性设置为false。同时需要注意的是这个文件大概2000行左右的地方有一个错误,是将</value>写成了</auth>。大家安装的时候发挥一下小宇宙啦,找找。

ok。配置完了可以启动了。首先是启动元数据库:hive --service metastore & ;然后是启动hiveserver: hive --service hiveserver &。之后,就可以正常启动hive了。

同时,我们到另外一个节点上看看数据库有什么变化。

可以看到原来空的hive数据库多出了这么多的表。这些都是hive启动之后创建的,以及我们查询TBLS表可以看到在hive新建表a的信息。

至此,HBase以及Hive都安装成功了!

谢谢大家!本人水平有限,请大家不吝指正!

时间: 2024-11-09 04:07:21

HBase完全分布式安装以及Hive远程模式(mysql作为数据库)的安装的相关文章

搭建zabbix(yum安装zabbix,ngixn,mysql,源码安装php)

yum安装zabbix,ngixn,mysql,源码安装php,并不是有特别的效果,而是zabbix源码安装失败了... 1.安装zabbix的repo2.yum 安装 3.yum安装mariadb mariadb-server4.创库zabbix,赋权给zabbix用户5.将zabbix文件的库导入mysql中 6.修改zabbix_server.conf配置文件7.启动开机自启zabbix_server.service 8.yum安装nginx9.修改nginx.conf配置文件,用ngin

Hbase总结(一)-hbase命令,hbase安装,与Hive的区别,与传统数据库的区别,Hbase数据模型

Hbase总结(一)-hbase命令 下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count  '表名称' 删除记录 delete  '表名' ,'行名称' , '列名称' 删除一张表 先要屏蔽该表,才能对

Ubuntu下安装Nginx,PHP5(及PHP-FPM),MySQL

Ubuntu 下 nginx , php , mysql 和 golang 的简单安装 我是搞php出身,自然安装lnmp是常规技能.以前的手段还是lnmp安装包,比如军哥的lnmp1.0.随着php和mysql的更新,大多数一键安装都开始版本老化,更新困难的问题.因此,重新研究了一下Ubuntu下lnmp的安装,发现现在简单的多,记录一下. 另外最近在学习golang,Ubuntu下安装自然也是必须的过程.不过golang的安装也有一些奥妙.当然,不是源码安装的啦. Nginx Stable/

Mysql的源码安装

到网站上面下载:cmake-3.0.0.tar.gz和mysql-5.5.8.tar.gz: 解压安装cmake-3.0.0.tar.gz tar -zxv -f cmake-3.0.0.tar.gz cd cmake-3.0.0 ./configure make make install 解压安装mysql-5.5.8.tar.gz (1).创建mysql安装目录和数据存放目录 mkdir -p /usr/local/mysql                 //安装mysql  mkdir

mysql 5.7.14 安装配置方法图文教程(转)

http://www.jb51.net/article/90259.htm ******************************** 因笔者个人需要需要在本机安装Mysql,先将安装过程记录如下,希望对他人有所参考. 一.下载软件 1. 进入mysql官网,登陆自己的oracle账号,下载Mysql-5.7.14,下载地址:http://dev.mysql.com/downloads/mysql/ 2.将下载好的文件解压到指定目录,笔者解压在C:\software\Mysql\mysql

Hive的三种安装方式(内嵌模式,本地模式远程模式)

一.安装模式介绍:     Hive官网上介绍了Hive的3种安装方式,分别对应不同的应用场景.     1.内嵌模式(元数据保村在内嵌的derby种,允许一个会话链接,尝试多个会话链接时会报错)     2.本地模式(本地安装mysql 替代derby存储元数据)     3.远程模式(远程安装mysql 替代derby存储元数据) 二.安装环境以及前提说明:     首先,Hive是依赖于hadoop系统的,因此在运行Hive之前需要保证已经搭建好hadoop集群环境.     本文中使用的

Hive本地模式安装及遇到的问题和解决方案

Apache Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. Hive有三种运行模式: 1.内嵌模式:将元数据保存在本地内嵌的Derby数据库中,这得使用Hive最简单的方式,不过使用内嵌模式的话,缺点也比较明显,因为一个内嵌的D

阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz Hive:apache-hive-2.3.6-bin.tar.gz Mysql: Mysql 5.7 MySQL Connector-J:mysql-

hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装

创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令.进程名称****************************启动集群命令: start-all.sh启动zookeeper: zkServer.sh start 启动journalnode: hadoop-daemon.sh start journalnode启动namenode: hadoop-daemon.sh --script hdfs start namenode启动z