HIVE使用MYSQL作为METADATA

hive的hive-site.xml中加入

<property>
               <name>javax.jdo.option.ConnectionURL</name>
               <value>jdbc:mysql://10.20.109.213:3306/hive?createDatabaseIfNotExist=true</value>
       </property>
       <property>
               <name>javax.jdo.option.ConnectionDriverName</name>
               <value>com.mysql.jdbc.Driver</value>
       </property>
       <property>
               <name>javax.jdo.option.ConnectionUserName</name>
               <value>hive</value>
       </property>
       <property>
               <name>javax.jdo.option.ConnectionPassword</name>
               <value>hiveMysqlAb1234567890</value>
       </property>

记得给mysql的hive用户相应的权限。

GRANT ALL PRIVILEGES ON hive.* TO [email protected] IDENTIFIED BY "hive";

GRANT ALL PRIVILEGES ON hive.* TO [email protected]‘%‘ IDENTIFIED BY "hive";

然后启动hive即可

如果遇到错误报jline相关,则拷贝hive/lib下的jline包到hadoop下的yarn路径下的lib中。

如果hive启动后有如下错误:

Specified key was too long; max key length is 767 bytes

那么就修改mysql中的my.cnf中的character_set_client和character_set_server,都设置成latin1,不要使用utf-8。

时间: 2024-11-10 07:13:15

HIVE使用MYSQL作为METADATA的相关文章

配置hive使用mysql存储metadata metadatastore

hive默认使用derby数据库保存元数据,derby数据库比较小众,并且一次只能打开一个会话,一般修改为mysql数据库. 1.修改conf/hive-site.xml配置项: <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true</value> <

Hive集成Mysql作为元数据时,提示错误:Specified key was too long; max key length is 767 bytes

在进行Hive集成Mysql作为元数据过程中,做完所有安装配置工作后,进入到hive模式,执行show databases:执行正常,接着执行show tables:时却报错. 关键错误信息如下: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes) 具体操作信息如下: hive> show databases; OK

hive 与mysql集成安装

Hive集成Mysql作为元数据 默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试.为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持,配置一个独立的元数据库需要增加以下几步骤: 第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务.此步省略,具体请看http://www.cnblogs.com/linjiqin/archive/2013/03/0

HIVE配置mysql metastore

HIVE配置mysql metastore    hive中除了保存真正的数据以外还要额外保存用来描述库.表.数据的数据,称为hive的元数据.这些元数据又存放在何处呢?    如果不修改配置hive默认使用内置的derby数据库存储元数据.    derby是apache开发的基于java的文件型数据库.    可以检查之前执行命令的目录,会发现其中产生了一个metastore.db的文件,这就是derby产生的用来保存元数据的数据库文件. derby数据库仅仅用来进行测试,真正使用时会有很多

hadoop中hive配置mysql

1.首先下载hive 下载地址   选择带有 bin 选项的  ,不然以后还要自己编译 解压安装 移动到/usr/local/hive  下 进入hive目录,进入conf cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp hive-log4j2.properties.template hive-log4j2.propertiescp hive-exec-log4j.properti

hive上mysql元数据库配置

hive调试信息显示模式: ./hive -hiveconf hive.root.logger=DEBUG,console 非常有用. 默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试.为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持,配置一个独立的元数据库需要增加以下几步骤: 第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务.此步省略,具体

2.Hive链接Mysql

安装MySQL参见 http://zhangyanfeng.blog.51cto.com/3884312/1733463 在hive中的conf文件中创建hive-site.xml并写入hive链接MySQL配置信息 <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.0.207:3306/hive?c

SPARKSQL使用MYSQL做METADATA

将hive-site.xml 拷贝到 $SPARK_HOME/conf中 配置如 hive使用 mysql一样,注意赋予相应的权限. javax.jdo.option.ConnectionURL jdbc:mysql://xxxx:3306/sparkmetadata?createDatabaseIfNotExist=true 启动spark-sql要给driver路径 spark-sql --driver-class-path /usr/local/spark/spark-1.3.0-bin-

hive的mysql配置笔记

配置hive使用mysql数据库 ------------------------ 1.下载并加压hive.tar.gz 2.配置环境变量 HIVE_HOME=... PATH=..:$HIVE_HOME/bin:$HIVE_HOME/conf $>source /etc/environment 3.创建配置文件 $>cd conf $ cp hive-default.xml.template hive-site.xml $ cp hive-env.sh.template hive-env.s