hadoop-2.10.0安装hive-2.3.6

公司建立数仓,hive是必不可少的,hive是建立在hadoop基础上的数据库,前面已经搭建起了hadoop高可用,要学习hive,先从搭建开始,下面梳理一下hive搭建过程

1.下载hive安装包 ,下载地址:https://hive.apache.org/downloads.html

找到自己hadoop对应的版本下载安装,我这里下载的是 apache-hive-2.3.6-bin.tar.gz

2.安装hive,将安装包解压到/opt/soft下,并建立软链接

tar -zxvf apache-hive-2.3.6-bin.tar.gz -C /opt/soft/
cd /opt/soft
mv apache-hive-2.3.6-bin hive-2.3.6
ln -s hive-2.3.6 hive

3.配置环境变量/etc/profile

vim /etc/profile

#hive
export HIVE_HOME=/opt/soft/hive
export PATH=$PATH:$HIVE_HOME/bin

保存后别忘记编译一下

source /etc/profile

4.配置hive配置文件,hive元数据默认存储到derby数据库中,我们这里使用mysql来存储,hive-site.xml配置信息较多建议下载到windows下修改,然后再传上去

首先复制默认的配置文件模板,里面已经包含hive所有的默认配置信息

cp hive-default.xml.template hive-site.xml

修改hive-site.xml配置文件,将元数据存放数据库改为mysql,在hive-site.xml中找到下列属性,修改为:

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.118.1:3306/hive2</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>111111</value>
    <description>password to use against metastore database</description>
  </property>

数据库驱动为mysql驱动com.mysql.jdbc.Driver,URL改为mysql的hive2(自定义)数据库,用户名密码为自己数据库对应的用户名密码

修改hive配置的一些目录,指定到自己选择的目录,搜索以 ${system 开头的 value 替换为自己的目录,我这里替换为:/home/hdfs/hive下相关目录

  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/hdfs/hive</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/home/hdfs/hive/downloads</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
  <property>
    <name>hive.querylog.location</name>
    <value>/home/hdfs/hive/querylog</value>
    <description>Location of Hive run time structured log file</description>
  </property>
  <property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/home/hdfs/hive/server2_logs</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>

修改权限验证为false

 <property>
    <name>hive.server2.enable.doAs</name>
    <value>false</value>
    <description>
      Setting this property to true will have HiveServer2 execute
      Hive operations as the user making the calls to it.
    </description>
  </property>

5.既然修改元数据存放在mysql库里,就需要将mysql驱动包放入到hive/lib中,注意mysql版本和驱动包一致

mv mysql-connector-java-8.0.18.jar /opt/soft/hive/lib/

6.在mysql数据库中创建hive2库

7.初始化hive的元数据(表结构)到mysql中。

cd /opt/soft/hive/bin
schematool -dbType mysql -initSchema

出现如下信息,代表成功

也可以查看mysql中hive2库,所有表初始化完成

8.启动hadoop,如果没有安装可以参考:centos7搭建hadoop2.10高可用(HA)

start-all.sh

9.启动hive

hive

查看目前只有default数据库

创建数据库:

create database myhivedb2;

查看创建的mysqhivedb2已经出来了

我们查一下hdfs中是否创建了对应的目录

hdfs dfs -ls -R /user/hive/

也可以查看mysql中hive2库的dbs表:

至此hive环境搭建完成

原文地址:https://www.cnblogs.com/qixing/p/12275185.html

时间: 2024-10-11 04:34:10

hadoop-2.10.0安装hive-2.3.6的相关文章

【149】ArcGIS Desktop 10.0 &amp; Engine 10.0 安装及破解

目录: ArcGIS Desktop 10.0 安装 ArcGIS Desktop 10.0 破解 ArcGIS Engine 10.0 安装 ArcGIS Engine 10.0 破解 ArcGIS Desktop 10.0 安装 首先安装ArcGIS License,一路安装下去:然后安装ArcGIS Desktop,也是一路安装下去,最后关掉许可. ArcGIS Desktop 10.0 破解 1. 选择ArcGIS Administrator. 2. 如下面红色方框的选择(若是无法修改l

Vmware 10.0安装Mac OS X Mountain Lion教程

前面两篇博文介绍了ubuntu下如何配置安装Mac风格的主题,折腾一番后我还是觉得不过瘾.于是想在电脑上安装Mac OS X系统, 一番爬贴之后感觉难度较大啊,本来就装的是win8+ubuntu双系统,引导问题比较复杂,而且后期驱动对硬件支持问题也不小.无奈,只能 转战虚拟机安装啦. 看到一个很好帖子,讲的很详细.我按照这个安装成功了.对于我们这种买不起硬件的穷学生党又想体验下Mac OS的high big up的 同学们,点击Vmware10下安装Mac OS X Mountain Lion(

vmware 10.0 安装centos6.5 客户系统 几个问题

1. vmware 10.0 安装centos6.5 客户系统 无法修改分辨率 要安装 desktop, KDE, legacy,x  组件 2. NAT 方式网卡无法自行启动 vim /etc/sysconfig/network-scripts/ifcfg-eth0 ONBOOT=yes     NM_CONTROLLED=yes    //让网管控制BOOTPROTO=dhcp

hadoop 2.5.0安装和配置

安装hadoop要先做以下准备: 1.jdk,安装教程在 http://www.cnblogs.com/stardjyeah/p/4640917.html 2.ssh无密码验证,配置教程在 http://www.cnblogs.com/stardjyeah/p/4641524.html 3.linux静态ip配置,教程在 http://www.cnblogs.com/stardjyeah/p/4640691.html 准备好以后就可以进行hadoop 2.5.0安装和配置了 1)        

VMware Workstation 10.0 安装与配置

VMware Workstation 10.0虚拟机 1.先安装VMware Workstation 10.0原版, 2.然后用下面的任意一个VMware Workstation序列号注册(或者你也可以用注册工具) 1Y0LW-4WJ9N-LZ5G9-Z81QP-92PN7 JU052-F4J41-HZGM8-QU056-93P6Y 0Y6DK-8H1DH-UZ249-X2A5M-3AM2M MA664-AF2E5-6ZAD9-GU15K-1AR1N 3,新建一个VMware的虚拟机 ultra

使用VMware Workstation 10.0安装虚拟机

使用VMware Workstation 10.0安装虚拟机的流程如下(这里以安装Linux操作系统CentOS 6.5为例): 1.打开VMware Workstation 10,单击"创建新的虚拟机". 2.选择"自定义(高级)(C)",单击"下一步". 3.硬件兼容性默认"Workstation 10.0",单击"下一步". 4.选择"稍后安装操作系统(S)",单击"下一

Hadoop 2.2.0安装和配置lzo

转自:http://www.iteblog.com/archives/992 Hadoop经常用于处理大量的数据,如果期间的输出数据.中间数据能压缩存储,对系统的I/O性能会有提升.综合考虑压缩.解压速度.是否支持split,目前lzo是最好的选择.LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快,无损压缩,压缩后的数据能准确还原,lzo是基于block分块的,允许数据被分解成chunk,能够被并行的解压.LZO库实现

hadoop 2.6.0 安装过程

最近才开始接触hadoop,最先要做的当然是安装hadoop 了,在安装hadoop之前需要作以下的一些准备 一个linux 环境,我使用vmware的虚拟机环境安装了centos 这个请自己百度一下吧,确实是太大了 jdk 1.6 以上的linux安装包 hadoop 2.6.0的安装包 注意,我使用的64位的linux,所以用的Java是64位的安装包 http://pan.baidu.com/s/1kT3PYLL hadoop 集群支持三种模式 1.单机模式 2.伪分布是模式 3.完全分布

ArcGIS Server 10.0 安装及使用完整攻略

引言 ArcGIS Server 10.0在使用和安装的过程中,需要进行比较全面的学习,才能正确使用.缺乏正确的指引,用户很容易在安装及使用中遇到问题.所以笔者在此总结Server 10.0的安装及使用中需要参考的资源.提供适当的教程,并对可能出现的问题进行解释,可供一些可行的解决方案.有兴趣做好Server 10.0工作的笔者,请耐心阅读本文.笔者花了近一个星期的时间研究ArcGIS Server 10.0的使用,希望对后来者能有所帮助. 安装 Server 10.0的安装前,建议在本机安装一