配置hive使用mysql存储metadata metadatastore

hive默认使用derby数据库保存元数据，derby数据库比较小众，并且一次只能打开一个会话，一般修改为mysql数据库。

1、修改conf/hive-site.xml配置项：


<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>

2、上传mysql驱动包到lib目录下


-rw-r--r--.  1 hadoop hadoop   855948 Jul 23  2013 mysql-connector-java-5.1.26-bin.jar

3、重启Hive

来自为知笔记(Wiz)

时间： 2024-10-09 21:04:15

配置hive使用mysql存储metadata metadatastore的相关文章

25.2 配置使用基于mysql存储日志信息

配置环境: 1.准备好MySQL服务器,创建用户,授权对Syslog数据库的全部访问权限 [[email protected] ~]# yum -y install mariadb-server [[email protected] ~]# systemctl start mariadb.service [[email protected] ~]# mysql MariaDB [(none)]> grant all on Syslog.* to 'syslog'@'192.168.1.%'

HIVE使用MYSQL作为METADATA

hive的hive-site.xml中加入 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://10.20.109.213:3306/hive?createDatabaseIfNotExist=true</value> </property> <

hive的mysql配置笔记

配置hive使用mysql数据库 ------------------------ 1.下载并加压hive.tar.gz 2.配置环境变量 HIVE_HOME=... PATH=..:$HIVE_HOME/bin:$HIVE_HOME/conf $>source /etc/environment 3.创建配置文件 $>cd conf $ cp hive-default.xml.template hive-site.xml $ cp hive-env.sh.template hive-env.s

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector）(三)

续上一篇:搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二) 准备工作下载最新连接器地址 https://dev.mysql.com/downloads/connector/j/ 例子:下载mysql-connector-java-5.1.41.tar 1.解压连接器connector文件 1.1.解压 [[email protected] Software]# tar xzfmysql-connector-java-5.1.41.tar.gz [[e

Hive的mysql安装配置

一.MySQL的安装 Hive的数据,是存在HDFS里的.此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息. 元数据信息不存在HDFS,而是存在关系型数据库里,hive默认用的是derby数据库来存储.即hive工作时,除了要依赖Hadoop,还要依赖关系型数据库. 注意:虽然我们能通过HDFS查看到hive有哪些数据库,有哪些表,以及表里的数据,但是,这不是元数据信息.HDFS最主要的是存储hive的数据信息. 之前遇到的问题:当退出后,切换到不同的目录来进

hive上mysql元数据库配置

hive调试信息显示模式: ./hive -hiveconf hive.root.logger=DEBUG,console 非常有用. 默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试.为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持,配置一个独立的元数据库需要增加以下几步骤: 第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务.此步省略,具体

MySQL索引创建与删除，MySQL存储引擎的配置

MySQL索引创建与删除 1.1 问题本案例要求熟悉MySQL索引的类型及操作方法,主要练习以下任务: 普通索引.唯一索引.主键索引的创建/删除自增主键索引的创建/删除建立员工表yg.工资表gz,数据内容如表-1.表-2所示,设置外键实现同步更新与同步删除表-1 员工表yg的数据表-2 工资表gz的数据 1.2 步骤实现此案例需要按照如下步骤进行. 步骤一:索引的创建与删除创建表的时候指定INDEX索引字段创建库home: mysql> create database home;

【超简单】MySQL存储引擎的选择与配置

[超简单]MySQL存储引擎的选择与配置存储引擎简介 MySQL中的数据用各种不同的技术存储在文件(或内存)中.每一种技术都使用不同的存储机构,索引技巧,锁定水平并且最终提供广泛的不同的功能和能力.通过选择不同的技术,能够获得额外的速度或者功能,从而改善应用的整体功能.这些不同的技术以及配套的相关功能在MySQL中被称为存储引擎. 下面就为大家介绍两种MySQL中比较常见的两种存储引擎:MyISAM和InnoDB MyISAM存储引擎 MyISAM存储引擎是MySQL关系数据库系统5.5版本之

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

一.Hive的简单使用基本的命令和MySQL的命令差不多首先在 /opt/datas 下创建数据 students.txt 1001 zhangsan 1002 lisi 1003 wangwu 显示有多少数据库: show databases; 使用某个数据库: use 数据库名称; 显示当前数据库下的表: show tables; 创建数据表 : create table student (id int,name string) ROW FORMAT DELIMITED FIELDS