hive上mysql元数据库配置

hive调试信息显示模式：

./hive -hiveconf hive.root.logger=DEBUG,console

非常有用。

默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要增加以下几步骤:

第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务。
此步省略，具体请看http://www.cnblogs.com/wuhou/archive/2008/09/28/1301071.html

第二步:安装Hive
此步省略，具体请看http://www.cnblogs.com/linjiqin/archive/2013/03/04/2942402.html

第三步:为Hive建立相应的MySQL账户,并赋予足够的权限,执行命令如下:

[email protected]:~$ mysql -uroot -pmysql
mysql> CREATE USER ‘hive‘ IDENTIFIED BY ‘mysql‘;
mysql> GRANT ALL PRIVILEGES ON *.* TO ‘hive‘@‘%‘ WITH GRANT OPTION;
mysql> flush privileges;

默认情况下Mysql只允许本地登录，所以需要修改配置文件将地址绑定给注释掉：

[email protected]:~# sudo gedit /etc/mysql/my.cnf

找到如下内容：

# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
#bind-address           = 127.0.0.1  <---注释掉这一行就可以远程登录了

重启mysql服务：

sudo service mysql restart

第四步:建立 Hive 专用的元数据库，记得创建时用刚才创建的“hive”账号登陆。

mysql> exit;
[email protected]:~$ mysql -uhive -pmysql
mysql> create database hive;

第五步:在Hive的conf目录下的文件“hive-site.xml”中增加如下配置:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.11.157:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>mysql</value>
    </property>
</configuration>

从前面我们知道我们的“hive-site.xml”是一个“hive-default.xml.template”的一个拷贝，里面的配置参数非常之多，但是并不是我们都需要的，我们知道，Hive 系统会加载两个配置文件一个默认配置文件“hive-default.xml”，另一个就是用户自定义文件“hive-site.xml”。当“hive-site.xml”中的配置参数的值与“hive-default.xml”文件中不一致时，以用户自定义的为准。所以我们就把我们不需要的参数都删除掉，只留下上面所示的内容。
备注:其实修改这里的配置文件如果在Linux下面进行则非常麻烦,尽然我们都建立了FTP了,为何不用,所以把Master.Hadoop上面的这个配置文件下载下来,按照要求进行修改,这样的文件在Windows进行操作是非常方便的,弄好之后在上传上去,覆盖原来的即可。

第六步:把MySQL的JDBC驱动包复制到Hive的lib目录下。
JDBC驱动包的版本:mysql-connector-java-5.1.18-bin.jar

第七步:启动 Hive Shell, 执行“show tables;”命令,如果不报错,表明基于独立元数据库的 Hive 已经安装成功了。

[email protected]:~$ hive
Logging initialized using configuration in file:/home/hadoop/hive-0.9.0/conf/hive-log4j.properties
Hive history file=/tmp/hadoop/hive_job_log_hadoop_201303041631_450140463.txt
hive> show tables;
OK
Time taken: 1.988 seconds
hive>

第八步:验证Hive配置是否有误，进入Hive的shell新建表,在MySQL的Hive数据库中可以看到相应的元数据库信息。
1)在Hive上建立数据表
hive> CREATE TABLE xp(id INT,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;
2)从 MySQL 数据库上查看元数据信息
用到的 SQL 语句:
use hive; //使用 hive 数据库库
show tables;//显示 hive 数据库中的数据表
select * from TBLS;//查看 hive 的元数据信息
到此Hive集成Mysql作为元数据已完成。

远程模式安装
远程模式安装是把 metastore 配置到远程机器上,可以配置多个。在独立模式的基础上需要在 hive-site.xml 文件中增加的配置项如下:

<property>
    <name>hive.metastore.local</name>
    <value>local</value>
</property>
<property>
    <name>hive.metastore.uris</name>
    <value>uri1,uri2,... </value>//可配置多个 uri
    <description>JDBC connect string for a JDBC metastore</description>
</property>

时间： 2024-08-26 00:08:05

hive上mysql元数据库配置的相关文章

Hive的mysql安装配置

一.MySQL的安装 Hive的数据,是存在HDFS里的.此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息. 元数据信息不存在HDFS,而是存在关系型数据库里,hive默认用的是derby数据库来存储.即hive工作时,除了要依赖Hadoop,还要依赖关系型数据库. 注意:虽然我们能通过HDFS查看到hive有哪些数据库,有哪些表,以及表里的数据,但是,这不是元数据信息.HDFS最主要的是存储hive的数据信息. 之前遇到的问题:当退出后,切换到不同的目录来进

Dbeaver连接Hive和Mysql的配置

1.连接Hive 首选需要配置Hive 这里我们采用的是JDBC的连接方式 (1) 在Hive中后台启动hiveserver2 [[email protected] hive]# bin/hiveserver2 & (2) 启动beeline [[email protected] hive]$ bin/beeline ls: cannot access /opt/module/spark/lib/spark-assembly-*.jar: No such file or directory Be

Hadoop Hive安装，配置mysql元数据库

由于Hive依赖于Hadoop,安装Hive之前必须确认Hadoop可用,关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤,这里不再叙述. 1.下载Hive安装包 下载地址为:http://www.apache.org/dyn/closer.cgi/hive(或点击下面链接),选择一个稳定版本,假设下载的版本为:apache-hive-1.0.1-bin.tar.gz,解压: tar -zxvf apache-hive-1.0.1-bin.tar.gz 在apache的下载列表

hive元数据库配置、metadata

一.什么是hive元数据? hive元数据就是hive的一些基本的元素,主要包括hive表的基本属性,如下 (1)hive表的数据库名.表名.字段名称与类型.分区字段与类型 (2)表的分区,分区的属性location等 (3)serdeproperties, tblproperties等等 可以通过 desc formatted tablename 查看表有哪些属性 二.hive默认元数据库Derby(嵌入模式) hive-default.xml通过如下配置设置 <name>javax.jdo

hive的mysql配置笔记

配置hive使用mysql数据库 ------------------------ 1.下载并加压hive.tar.gz 2.配置环境变量 HIVE_HOME=... PATH=..:$HIVE_HOME/bin:$HIVE_HOME/conf $>source /etc/environment 3.创建配置文件 $>cd conf $ cp hive-default.xml.template hive-site.xml $ cp hive-env.sh.template hive-env.s

手把手教你在win10系统上安装、配置MySQL 5.7.19数据库

关于数据库这个东东,可能还有很多小伙伴没有接触过,这里简单说一下吧,数据库就是按照数据结构来组织.存储.管理数据的仓库,它可以高效的存储和管理数据,用途及其广泛,比如网站建设开发.软件应用开发等领域,我们常见的数据库有Access.Sqlserver.Mysql.Oracle等,今天亦是美网络小编给大家介绍的是mysql数据库,因为网络上80%以上的网站采用的是PHP+Mysql的搭配组合,想要学习网站建设开发,不了解Mysql数据库是说不过去的哦! 首先下载最新版MySQL数据库安装包,官网下

hive1.2伪分布mysql数据库配置具体解释

hadoop2.6伪分布配置:http://blog.csdn.net/gamer_gyt/article/details/46793731 hive1.2  derby元数据库配置:http://blog.csdn.net/gamer_gyt/article/details/47150621 环境说明 hadoop2.6伪分布          Ubuntu14.04           hive 1.1              MySql 5.5                 MySql

hive 与mysql集成安装

Hive集成Mysql作为元数据 默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试.为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持,配置一个独立的元数据库需要增加以下几步骤: 第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务.此步省略,具体请看http://www.cnblogs.com/linjiqin/archive/2013/03/0

hive1.2伪分布mysql数据库配置详解

hadoop2.6伪分布配置:http://blog.csdn.net/gamer_gyt/article/details/46793731 hive1.2  derby元数据库配置:http://blog.csdn.net/gamer_gyt/article/details/47150621 环境说明 hadoop2.6伪分布          Ubuntu14.04           hive 1.1              MySql 5.5                 MySql