hive的mysql配置笔记

配置hive使用mysql数据库

------------------------

1.下载并加压hive.tar.gz

2.配置环境变量

HIVE_HOME=...

PATH=..:$HIVE_HOME/bin:$HIVE_HOME/conf

$>source /etc/environment

3.创建配置文件

$>cd conf

$ cp hive-default.xml.template hive-site.xml

$ cp hive-env.sh.template hive-env.sh

$ cp hive-exec-log4j.properties.template hive-execlog4j.properties

$ cp hive-log4j.properties.template hive-log4j.properties

4.修改conf/hive-env.sh配置文件

export HADOOP_HOME=/soft/hadoop

export HIVE_CONF_DIR=/soft/hive/conf

5.修改conf/hive-site.xml文件

hive.metastore.warehourse.dir=/user/hive/warehouse //hdfs系统

hive.exec.scratchdir=/tmp/hive-${user.name} //hdfs系统

6.配置使用mysql数据库

0.在mysql上创建myhive数据库

create database myhive ;

1.配置hive-ste.xml

[conf/hive-site.xml]

#javax.jdo.option.ConnectionURL // the database URL

#javax.jdo.option.ConnectionDriverName // the JDBC driver name

#javax.jdo.option.ConnectionUserName // database username

#javax.jdo.option.ConnectionPassword // database password

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://myhost:3306/myhive?createDatabaseIfNotExist=true</value>

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive</value>

<description>password to use against metastore database</description>

</property>

7.复制mysql驱动程序到${hive_home}\lib下

时间: 2024-10-06 19:34:54

hive的mysql配置笔记的相关文章

hive 的mysql配置

hive默认使用的是Derby数据库,Derby是一个嵌入式数据库,数据库一般创建在运行hive命令的目录,如果切换目录运行,则找不到数据库 hive mysql配置: 官网地址:https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin hive配置文件目录下创建文件:hive-site.xml,配置如下 <configuration> <property> <name>jav

Hive的mysql安装配置

一.MySQL的安装 Hive的数据,是存在HDFS里的.此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息. 元数据信息不存在HDFS,而是存在关系型数据库里,hive默认用的是derby数据库来存储.即hive工作时,除了要依赖Hadoop,还要依赖关系型数据库. 注意:虽然我们能通过HDFS查看到hive有哪些数据库,有哪些表,以及表里的数据,但是,这不是元数据信息.HDFS最主要的是存储hive的数据信息. 之前遇到的问题:当退出后,切换到不同的目录来进

2.Hive链接Mysql

安装MySQL参见 http://zhangyanfeng.blog.51cto.com/3884312/1733463 在hive中的conf文件中创建hive-site.xml并写入hive链接MySQL配置信息 <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.0.207:3306/hive?c

Windows下Apache + MySQL配置PHP环境笔记

这个笔记对应的信息太老了,毕竟PHP都5.6了,而我这里提到的还是5.3.10版的.资料也是网上找到的,因为不懂PHP,所以这老的资料也还是留下吧,以后会用到类似的也不一定呢? 闲话少说,上笔记吧: PHP环境配置笔记 日期:2014.8.31 这个笔记也是参考了网友的博客来做的:http://www.cnblogs.com/pharen/archive/2012/02/06/2340628.html 目前来说,我对PHP也是一点都不熟悉的,环境配置的也不懂,所以借助了网友提供的教程来做的. 先

hive上mysql元数据库配置

hive调试信息显示模式: ./hive -hiveconf hive.root.logger=DEBUG,console 非常有用. 默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试.为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持,配置一个独立的元数据库需要增加以下几步骤: 第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务.此步省略,具体

solr 4.8+mysql数据库数据导入 + mmseg4j中文全文索引 配置笔记

1.如何将solr部署,请参考之前的文章 2.按上述配置好后,在solr_home文件夹中,将包含collection1文件夹,这就是solr的一个实例.下面我们来看看collection1中的文件内容. collection1中包含conf和data两个子文件夹.data中包含tlog和index(如果没有也没关系,稍后再solr建立索引时,将会被创建).tlog是记录日志的文件夹,index是存放索引的文件夹.conf中包含lang文件夹和若干文件.lang文件夹中包含的是词库文件,但是so

Django 学习笔记(六)MySQL配置

环境:Ubuntu16.4 工具:Python3.5 一.安装MySQL数据库 终端命令: sudo apt-get install mysql-server sudo apt-get install mysql-client sudo apt-get install libmysqlclient-dev 过程中会让你输入用户名(默认root)和密码,输入后按下方向即可跳转到确定按钮,再按Enter sudo netstat -tap | grep mysql检测是否安装成功,当处于 liste

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)

续上一篇:搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二) 准备工作下载最新连接器地址 https://dev.mysql.com/downloads/connector/j/ 例子:下载mysql-connector-java-5.1.41.tar 1.解压连接器connector文件 1.1.解压 [[email protected] Software]# tar xzfmysql-connector-java-5.1.41.tar.gz [[e

[Openwrt 项目开发笔记]:MySQL配置(六)

在本人的项目中,运行在路由器上的服务器采用Nginx+MySQL+PHP 架构.通常较为常见的web框架为Lamp(Linux+Apache+Mysql+PHP),为何我们选择LNMP呢?我将在后续的几篇文章中给出答案. 首先我们来介绍如何在Openwrt上搭建MySQL数据库. 参考文章:(http://blog.csdn.net/yufei_email/article/details/21845935) 一.安装MySQL数据库(在backfire10.3版本中,package已经包含mys