hive的本地安装部署,元数据存储到mysql中

要想使用Hive先要有hadoop集群的支持,使用本地把元数据存储在mysql中。

  mysql要可以远程连接:

  可以设置user表,把localhost改为%,所有可连接。记住删除root其他用户,不然可能会有影响

  update user set host=‘%‘ where host=‘localhost‘;

Hive的安装部署:

  1、解压tar文件

  2、修改文件:

  修改conf/下面的文件:

    cp hive-env.sh.tempalte hive-env.sh

  配置hive-env.sh文件:

    1、配置HIVE_HOME路径

    2、配置HIVE_CONF_DIR路径

  在hdfs中新建

    /user/hive/warehouse

    /tmp 连个文件夹,并修改权限为同组可写

    hdfs dfs -chmod g+w /tmp

    hdfs dfs -chmod g+w /user/hive/warehouse

  配置元数据到mysql中:

    需要mysql的驱动jar包

    cp mysql-connector-java-5.1.27-bin.jar /hive/bin

  在hive/conf目录中创建一个hive-site.xml文件,更改红色部分:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
   <description>Whether  to  include    the    current    database    in    the    Hive prompt.</description>
</property>
<property>
<name>hive.cli.print.header</name>
<value>false</value>
<description>Whether to print the names of the columns in query output.</description>
</property>
</configuration>

-------------------------------------

  更改默认数据仓库位置:

  hive默认的数据仓库位置在:/user/hive/warehouse路径下面, 在仓库目录下,没有对默认的数据库 default 创建文件夹。如果某张表属于 default数据库,直接在数据仓库目录下创建一个文件夹。

  可以修改配置文件更改位置:红色部分,切记修改路径的权限为同组可写,配置文件hive-site.xml

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>

  配置表头显示、数据显示:配置文件hive-site.xml

<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>

<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>

  Hive运行日志配置:

   Hive 的 log 默认存放在/tmp/hadoop/hive.log 目录下(当前用户名下)

   修改 hive 的 log 存放日志到/opt/module/hive/logs

   修改/opt/module/hive/conf/hive-log4j.properties.template 文件名称为  hive-log4j.properties

   在 hive-log4j.properties 文件中修改 log 存放位置

      hive.log.dir=/opt/module/hive/logs

原文地址:https://www.cnblogs.com/dongxiucai/p/9783185.html

时间: 2024-08-09 05:22:11

hive的本地安装部署,元数据存储到mysql中的相关文章

magento本地安装部署

magento是基于php开发,在本地安装magento首先要有php能运行的环境,这里推荐wampServer或者xampp,两者我都试过,个人感觉wampServer比较好用,建议去官网下载最新版本以免因为版本问题导致各种错误,因为我测试过程中就碰到过 ╮(╯▽╰)╭. 进入magento官网有安装guide,一步步continue即可.(改用xampp,wamp不稳定,具体detail页访问not found暂没解决) 大致说下步骤: 1.准备最新的wampServer或xampp.mag

Python2爬虫获取的数据存储到MySQL中时报错&quot;Incorrect string value: &#39;\\xE6\\x96\\xB0\\xE9\\x97\\xBB&#39; for column &#39;new&#39; at row 1&quot;的解决办法

由于一直使用python3进行编码,在使用Python2时,将爬虫数据连接数据库进行存储时,出现如上的报错,经查资料 是数据库编码问题. 如下转自:http://www.cnblogs.com/liuzhixin/p/6274821.html 的博客,在此感谢博主的慷慨分享之情. 错误原因:我们可以看到错误提示中的字符0xF0 0x9F 0x98 0x84 ,这对应UTF-8编码格式中的4字节编码(UTF-8编码规范).正常的汉字一般不会超过3个字节,为什么为出现4个字节呢?实际上是它对应的是智

Hive 环境的安装部署

Hive在客户端上的安装部署 一.客户端准备: 到这我相信大家都已经打过三节点集群了,如果是的话则可以跳过一,直接进入二.如果不是则按流程来一遍! 1.克隆虚拟机,见我的博客:虚拟机克隆及网络配置 2. 实现客户端和集群的连接(该步骤为多节点集群搭建,详情见我博客:三节点Hadoop集群搭建,有多节点集群的请跳到二) (1)配置时钟同步:保证客户端和集群的时间是同步的,具体操作参照分布式集群搭建的步骤. (2)修改主机名:修改/etc/sysconfig/network文件,修改完之后要rebo

etcd安装部署及数据同步MySQL

一.etcd说明及原理 二.etcd安装部署说明 三.etcd操作说明 四.python安装etcd 五.python-etcd使用说明 六.通过脚本获取本地的信息上传到etcd 七.通过脚本将etc的数据同步到mysql 一.etcd 简介 etcd是用于共享配置和服务发现的分布式,一致的键值存储,重点是: 简单:定义明确,面向用户的API(gRPC) 安全:使用可选的客户端证书认证的自动TLS 快速:基准测试10,000写/秒 可靠:使用Raft协议来进行合理的分布式 etcd是在Go中编写

spark1.6配置sparksql 的元数据存储到postgresql中

1:首先配置hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:postgresql://192.168.56.103:5432/sparksql</value> </property> <property> <name>javax.jdo.option.Co

安装sqoop,并将Mysql中的表数据导出到HDFS下的文本文件

首先是安装mysql数据库.使用 sudo apt-get install mysql-server命令即可安装完成.然后进行表的创建和插入数据.如图. 然后下载sqoop和连接mysql数据库的jar包.接下来是安装sqoop.首先是配置sqoop-env.sh文件.如图. 然后将config-sqoop文件中不需要检查的注释掉.如图. 然后接下来是将sqoop-1.4.4.jar包和连接mysql的jar包copy到hadoop目录下的lib目录中,同时把hadoop-core-1.2.1.

rsyslog日志存储于MySQL中

一.安装程序和组件 系统为CentOS6.6 # yum install httpd php php-mysql php-gd mysql mysql-server rsyslog-mysql 二.准备相关配置并测试环境 1.启动http,mysql服务 # service mysqld start # chkconfig mysqld on # service httpd start # chkconfig httpd on # vim  /var/www/html/index.php 2.创

Python爬取金山词霸每日一句,存储到MySQL中

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/7/3 20:25 # @Author : baoshan # @Site : # @File : iciba.py.py # @Software: PyCharm Community Edition # 爬取金山词霸每日一句放到数据库中存储 import json import requests import pymysql host = '10.10.1.10' port

Hive的安装部署全过程详细版

首先先简单介绍下hive: Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并可以使用类似SQL的方式来对数据文件进行读写以及管理.这套Hive SQL 简称HQL.Hive的执行引擎可以是MR.Spark.Tez. 核心架构:   Hive官网地址 http://hive.apache.org/ 下载地址 http://archive.apache.org/dist/hive/ hive的安装部署 Hive常用的安装分三种 (注意:Hive会自动监测Had