Hive的安装部署全过程详细版

首先先简单介绍下hive:

Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。

核心架构:

 

Hive官网地址

http://hive.apache.org/

下载地址

http://archive.apache.org/dist/hive/

hive的安装部署

Hive常用的安装分三种

(注意:Hive会自动监测Hadoop的环境变量,所以在安装hive之前就必须启动Hadoop,如未安装hadoop,请移步看本人的另一篇博客

地址:https://www.cnblogs.com/s1023/p/12439518.html

第一种:本地模式(多用户模式)

使用hive自带默认元数据库derby来进行存储,通常用于测试

a.优点:使用简单,不用进行配置

b.缺点:只支持单session

安装步骤:

首先将下载好的hive安装包上传到linux上

1、解压hive,并配置环境变量

 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

 vi /etc/profile

 source /etc/profile

export HIVE_HOME=/opt/app/hiveexport PATH=$HIVE_HOME/bin:$PATH

2、配置hive-env.sh,如果不存在,就用hive.env.sh.template复制一个

export HIVE_CONF_DIR=/opt/app/hive/conf
export JAVA_HOME=/opt/app/jdk
export HADOOP_HOME=/opt/app/hadoop

3、启动hive:(注:启动之前要启动hdfs  sbin/start-dfs.sh 和yarn  sbin/start-yarn.sh )

bin/hive

进入后可以执行下面命令进行操作

show dataases;  #查看数据库
show tables;   #查看表

简单sql演示执行

# 创建表
create table dog(id int,name string);
select * from dog;
insert into dog values(1,"wangcai");
desc dog; #查看表结构
quit # 退出

配置安装mysql:

安装包准备

#查看mysql是否安装,如果安装了,卸载mysql
 rpm -qa|grep mysql  #如果出现下面的提示,就说明系统已经有了mysql,要卸载
mysql-libs-5.1.73-7.el6.x86_64
# 卸载mysql
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
安装MySql服务器

==mysql安装的步骤介绍==

1.安装mysql服务端(先从本地上传服务端和客户端到服务器,尽量使用root用户操作)

rpm -ivh MySQL-server-5.6.rpm

#注意:如果是mini版本安装,提前要安装下面一个依赖库:
yum install libaio

2.查看产生的随机密码

 cat /root/.mysql_secret

3.查看mysql状态

service mysql status

4.启动mysql

service mysql start

安装MySql客户端

1.安装mysql客户端

rpm -ivh MySQL-client-5.6.rpm

2.链接mysql

命令格式:mysql -u用户名 -p密码

mysql -uroot -pabcdefafd注意:
abcdefafd为安装mysql服务端时第2部查看产生的随机密码,直接复制即可

3.修改密码

mysql>SET PASSWORD=PASSWORD(‘123123‘);

第二种模式:远程模式1

将元数据库放在该台机器上)(多用户模式)

通常使用关系型数据库来进行元数据存储(mysql、oracle等执行带jdbc驱动的数据库)

  • 优点:支持多session
  • 缺点:需要配置、还需要安装mysql等关系型数据库(已安装好)

步骤:

–           1、解压并配置环境变量

–           2、配置hive的配置文件

–           cp hive-env.sh.template hive-env.sh vi hive-env.sh(可以配置jdk、hive的conf路径)

–           3、在Hive的conf配置hive的自定义配置文件 vi hive-site.xml:如下:

<configuration>
<!--配置mysql的连接字符串-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<!--配置mysql的连接驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<!--配置登录mysql的用户-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<!--配置登录mysql的密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123123</value>
<description>password to use against metastore database</description>
</property>
</configuration>

4、将mysql的驱动包mysql-connector-java-5.1.27-bin.jar上传到$HIVE_HOME/lib下(==注意:驱动是jar结尾,不是tar结尾==)

5、启动hive

第三种模式:远程模式2

(将元数据库放在其他机器上)(多用户模式)

和1差不多,只是将元数据放在别的服务器上,这种的就是咱们常说的集群模式。
可以有一个hive的server和多个hive的client。

原文地址:https://www.cnblogs.com/s1023/p/12571751.html

时间: 2024-10-20 14:45:28

Hive的安装部署全过程详细版的相关文章

Hadoop2.3、 Hbase0.98、 Hive0.13架构中Hive的安装部署配置以及数据测试

简介: Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 1, 适用场景 Hive 构建在基于静态批处理的Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销.因此,Hive 并不能够在大规模

Sqoop-1.4.6安装部署及详细使用介绍

之所以选择Sqoop1是因为Sqoop2目前问题太多.无法正常使用,综合比较后选择Sqoop1. Sqoop1安装配置比较简单 一.安装部署 (1).下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到/home/duanxz/sqoop tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz (2).拷贝mysql的jdbc驱动包mysql-connector-java-5.1

GNS3实验环境的安装部署(详细教材0基础适用、结尾附安装包)

GNS3实验环境的安装部署 软件介绍: GNS3是一款具有图形化界面可以运行在多平台(包括Windows, Linux, and MacOS等)的网络虚拟软件.Cisco网络设备管理员或是想要通过CCNA,CCNP,CCIE等Cisco认证考试的相关人士可以通过它来完成相关的实验模拟操作.同时它也可以用于虚拟体验Cisco网际操作系统IOS或者是检验将要在真实的路由器上部署实施的相关配置. Wireshark(前称Ethereal)是一个网络封包分析软件.网络封包分析软件的功能是撷取网络封包,并

hive+postgres安装部署过程

master节点安装元数据库,采用postgres:#useradd postgres#password postgressu - postgreswget https://ftp.postgresql.org/pub/source/v10beta2/postgresql-10beta2.tar.gztar zxvf postgresql-10beta2.tar.gzcd postgresql-10beta2 ./configuremakesumake install mkdir /usr/lo

jenkins安装部署全过程

基本配置: 1.Linux安装配置jdk环境 1.1.上传到 Linux 服务器:例如: 上传至: cd /usr/local 1.2.解压: rpm -ivh jdk-8u111-linux-x64.rpm 1.3.环境变量配置 cd /etc 在etc下,找到 profile文件,增加如下如下配置: #set java environment JAVA_HOME=/usr/java/jdk1.8.0_111 CLASSPATH=.:$JAVA_HOME/lib.tools.jar PATH=

Hive 系列(二)—— Linux 环境下 Hive 的安装部署

一.安装Hive 1.1 下载并解压 下载所需版本的 Hive,这里我下载版本为 cdh5.15.2.下载地址:http://archive.cloudera.com/cdh5/cdh/5/ # 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz 1.2 配置环境变量 # vim /etc/profile 添加环境变量: export HIVE_HOME=/usr/app/hive-1.1.0-cdh5.15.2 export PATH=$HIVE_HOM

Hive的安装部署

1.下载解压,tar -zxvf /opt/tools/hive-1.1.0-cdh5.7.6.tar.gz -C /opt/cdh-5.7.6/ 2.修改配置文件,在conf文件目录下,去掉template启用hive-env.sh mv hive-env.sh.template hive-env.sh # Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=/opt/modules/hadoo

hive的本地安装部署,元数据存储到mysql中

要想使用Hive先要有hadoop集群的支持,使用本地把元数据存储在mysql中. mysql要可以远程连接: 可以设置user表,把localhost改为%,所有可连接.记住删除root其他用户,不然可能会有影响 update user set host='%' where host='localhost'; Hive的安装部署: 1.解压tar文件 2.修改文件: 修改conf/下面的文件: cp hive-env.sh.tempalte hive-env.sh 配置hive-env.sh文

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两