spark on hive 配置hive的metastore为mysql

<property>
<name>hive.metastore.uris</name>
<value></value>
<description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/mysql?useUnicode=true&amp;characterEncoding=UTF-8&amp;createDatabaseIfNotExist=true</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>yangsiyi</value>
<description>password to use against metastore database</description>
</property>

修改完后 在spark中启动thriftserver，随后在spark的bin下 用beeline方式连接

或者写成一个.sh文件 每次直接执行即可

.sh文件内容如：./beeline -u jdbc:hive2://yangsy132:10000/default -n root -p yangsiyi

时间： 2024-12-28 01:40:12

spark on hive 配置hive的metastore为mysql的相关文章

HIVE配置mysql metastore

HIVE配置mysql metastore    hive中除了保存真正的数据以外还要额外保存用来描述库.表.数据的数据,称为hive的元数据.这些元数据又存放在何处呢?    如果不修改配置hive默认使用内置的derby数据库存储元数据.    derby是apache开发的基于java的文件型数据库.    可以检查之前执行命令的目录,会发现其中产生了一个metastore.db的文件,这就是derby产生的用来保存元数据的数据库文件. derby数据库仅仅用来进行测试,真正使用时会有很多

Hive on Spark安装与配置（无数坑）

一.版本如下    注意:Hive on Spark对版本有着严格的要求,下面的版本是经过验证的版本 apache-hive-2.3.2-bin.tar.gz hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar mysql-connector-java-5.1.43-bin.jar spark-2.0.0.tgz(spark源码包,需要从源码编译) Redhat Linux

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

一.Hive的简单使用 基本的命令和MySQL的命令差不多 首先在 /opt/datas 下创建数据  students.txt 1001 zhangsan 1002 lisi 1003 wangwu 显示有多少数据库: show databases; 使用某个数据库: use 数据库名称; 显示当前数据库下的表: show tables; 创建数据表 : create table student (id int,name string) ROW FORMAT DELIMITED FIELDS

hadoop中hive配置mysql

1.首先下载hive 下载地址   选择带有 bin 选项的  ,不然以后还要自己编译 解压安装 移动到/usr/local/hive  下 进入hive目录,进入conf cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp hive-log4j2.properties.template hive-log4j2.propertiescp hive-exec-log4j.properti

Ubuntu 14.10 下Hive配置

1 系统环境 Ubuntu 14.10 JDK-7 Hadoop 2.6.0 2 安装步骤 2.1 下载Hive 我第一次安装的时候,下载的是Hive-1.2.1,配置好之后,总是报错 [ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was exp

CentOS配置Hive

hive搭建共分为三种模式:1.embedded,2.local,3.remote server 在这里,主要是配置第3种模式:remote server模式 我的环境共三台虚拟机:Host0,Host2,Host3 在remote server模式中,Host0:Hive-server2 Host2:Hive-metastore Host3:MySQL server 1.分别在Host0,Host2和Host3中安装hive-server2,hive-metastore,mysql-serve

hadoop学习记录（四）hadoop2.6 hive配置

一.安装mysql 1安装服务器 sudo apt-get install mysql-server 2安装mysql客户端 sudo apt-get install mysql-client sudo apt-get install libmysqlclient-dev 3检查是否有mysql服务开启如果出现第二行则成功开启 netstat -tap|grep mysql tcp 0 0 *:mysql *:* LISTEN 6153/mysqld 4开启mysql服务命令 service m

Hive配置

Hive配置 (只需要主机上配置)   MySQL数据库安装 元数据迁移到mysql 主机上先安装mysql,用于存放hadoop元数据 Mysql驱动 下载一个数据包mysql-connector-java-5.1.18-bin.jar,放到hive的lib目录下, 创建mysql用户并赋权 创建hive数据库 mysql>create database hive; mysql>show databases; +--------------------+ |Database         

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector）(三)

续上一篇:搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二) 准备工作下载最新连接器地址 https://dev.mysql.com/downloads/connector/j/ 例子:下载mysql-connector-java-5.1.41.tar 1.解压连接器connector文件 1.1.解压 [[email protected] Software]# tar xzfmysql-connector-java-5.1.41.tar.gz [[e