1、Java通过JDBC操作Hive

0、概述

使用的都是CLI或者hive –e的方式仅允许使用HiveQL执行查询、更新等操作。然而Hive也提供客户端的实现,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求,取回结果。

HiveServer与HiveServer2的异同?

HiveServer和HiveServer2都是基于Thrift。既然已经存在HiveServer为什么还需要HiveServer2呢?因为HiveServer不能处理多于一个客户端的并发请求,这是由于HiveServer使用的Thrift接口所导致的限制,不能通过修改HiveServer的代码修正。因此在Hive-0.11.0版本中重写了HiveServer代码得到了HiveServer2,进而解决了该问题。HiveServer2支持多客户端的并发和认证,为开放API客户端如JDBC、ODBC提供了更好的支持。

1、启动服务

1)、hive-site.xml的关键配置

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/usr/hive/warehouse</value>               //(hive中的数据库和表在HDFS中存放的文件夹的位置)

<description>location of default database for the warehouse</description>

</property>

<property>

<name>hive.server2.thrift.port</name>

<value>10000</value>                               //(HiveServer2远程连接的端口,默认为10000)

<description>Port number of HiveServer2 Thrift interface.

Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>

</property>

<property>

<name>hive.server2.thrift.bind.host</name>

<value>**.**.**.**</value>                          //(hive所在集群的IP地址)

<description>Bind host on which to run the HiveServer2 Thrift interface.  Can be overridden by setting $HIVE_SERVER2_THRIFT_BIND_HOST</description>

</property>

<property>

<name>hive.server2.long.polling.timeout</name>

<value>5000</value>                                // (默认为5000L,此处修改为5000,不然程序会报错)

<description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  //(Hive的元数据库,我采用的是本地Mysql作为元数据库)

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>          //(连接元数据的驱动名)

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>             //(连接元数据库用户名)

<value>hive</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>             // (连接元数据库密码)

<value>hive</value>

<description>password to use against metastore database</description>

</property>

2)、启动元数据库

先启动元数据库,在命令行中键入:hive --service metastore &

3)、启动服务

#hive --service hiveserver2 >/dev/null &

以上命令启动hiveserver2服务。

Hive提供了jdbc驱动,使得我们可以用java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。首先,我们必须将Hive的服务,也就是HiveServe打开。如果启动hiveserver就把上面命令改为

#hive --service hiveserver >/dev/null &

2、将所需Jar包放到

$HADOOP_HOME/share/hadoop/common/hadoop-common-2.8.0.jar

$HIVE_HOME/lib/hive-exec-2.1.1.jar

$HIVE_HOME/lib/hive-jdbc-2.1.1.jar

$HIVE_HOME/lib/hive-metastore-2.1.1.jar

$HIVE_HOME/lib/hive-service-2.1.1.jar

$HIVE_HOME/lib/libfb303-0.9.3.jar

$HIVE_HOME/lib/commons-logging-1.2.jar

$HIVE_HOME/lib/slf4j-api-1.6.1.jar

3、java连接程序

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.SQLException;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.Statement;

public class HiveClientUtils {

private static String driverName ="org.apache.hive.jdbc.HiveDriver";

//填写hive的IP,之前在配置文件中配置的IP

private static String Url="jdbc:hive2://localhos:10000/default";

private static Connection conn;

private static PreparedStatement ps;

private static ResultSet rs;

//创建连接

public static Connection getConnnection(){

try {

Class.forName(driverName);

//此处的用户名一定是有权限操作HDFS的用户,否则程序会提示"permission deny"异常

conn = DriverManager.getConnection(Url,"vagrant","vagrant");

} catch(ClassNotFoundException e)  {

e.printStackTrace();

System.exit(1);

} catch (SQLException e) {

e.printStackTrace();

}

return conn;

}

public static PreparedStatement prepare(Connection conn, String sql) {

PreparedStatement ps = null;

try {

ps = conn.prepareStatement(sql);

} catch (SQLException e) {

e.printStackTrace();

}

return ps;

}

public static void getAll(String tablename) {

conn=getConnnection();

String sql="select * from "+tablename;

System.out.println(sql);

try {

ps=prepare(conn, sql);

rs=ps.executeQuery();

int columns=rs.getMetaData().getColumnCount();

while(rs.next()) {

for(int i=1;i<=columns;i++) {

System.out.print(rs.getString(i));

System.out.print("\t\t");

}

System.out.println();

}

} catch (SQLException e) {

e.printStackTrace();

}

}

public static void main(String[] args) {

String tablename="test1";

getAll(tablename);

}

}

上面代码是针对hiveserver2的。如果是hiveserver。那有两处需要修改,具体修改如下:

org.apache.Hive.jdbc.HiveDriver  改为:org.apache.Hadoop.hive.jdbc.HiveDriver

jdbc:hive2://localhost:10000/default  改为:jdbc:hive://localhost:10000/default

其中‘localhost‘是主机地址,10000是端口后,default是默认的db。

时间: 2024-11-13 03:29:11

1、Java通过JDBC操作Hive的相关文章

Java使用Jdbc操作MySql数据库(一)

这个示例是Java操作MySql的基本方法. 在这个示例之前,要安装好MySql,并且配置好账户密码,创建一个logininfo数据库,在数据库中创建userinfo数据表.并且在表中添加示例数据. 一.首先将mysql-connector-java-5.1.26-bin.jar开发包复制到lib文件夹中,并且Build Path->Add Build Path. 二.创建User类,用于封装从数据库读出来的数据. 1 package com.mylx.database; 2 3 public

java通过jdbc操作Excel

ExcelAccess.java package test; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.List; public class ExcelAccess { public static void main(String[] args) { List<DataTableColumns> ls = new ArrayList<DataTableColumns>

Java:JDBC操作

内容:供程序员调用的接口与类,集成在java.sql和javax.sql包中,如:DriverManager类Connection接口Statement接口ResultSet接口 1.Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver"); 2.Connection conn = DriverManager.getConnection("jdbc:sqlserver://127.0.0.1:1433;data

Java之JDBC操作

下载jar包: mysql-connector-java-5.1.44.jar 导入包: import java.sql.*; 源码如下: 1 /** 2 * 使用JDBC底层实现查询 3 */ 4 public static void queryWithJDBC() { 5 Connection conn = null; 6 PreparedStatement psmt = null; 7 ResultSet rs = null; 8 String jdbcUrl = "jdbc:mysql:

java 操作hive通过jdbc

直接代码吧:记得要开启hive jdbc服务hive --service hiveserver package hive; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class HiveDemo { static{ //注册jdbc驱动 try { Class.forName("org.apache.

java jdbc操作SQLServer数据库

public static void main(String args[]){         System.out.println(321);         PreparedStatement ps = null;         ResultSet rs = null;         Connection ct = null;         try{             Class.forName("com.microsoft.jdbc.sqlserver.SQLServerDri

java jdbc操作mysql

import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet; public class test {    public static final String DBDRIVER = "com.mysql.jdbc.Driver";    // 定义MySQL数据库的连接地址    public static fi

Java使用jdbc连接Sqlite数据库进行各种数据操作的详细过程

前言:      SQLite是遵守ACID 的关系型数据库管理系统,它包含在一个相对小的C库中.它是D.RichardHipp建立的公有领域项目.       不像常见的客户-服务器范例,SQLite引擎不是个程序与之通信的独立进程,而是连接到程序中成为它的一个主要部分.所以主要的通信协议是在编程语言内的直接API调用.这在消耗总量.延迟时间和整体简单性上有积极的作用.整个数据库(定义.表.索引和数据本身)都在宿主主机上存储在一个单一的文件中.它的简单的设计是通过在开始一个事务的时候锁定整个数

通过JDBC连接hive

hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准.基础的数据操作我们可以通过脚本方式以hive-client进行处理.若需要开发应用程序,则需要使用hive的jdbc驱动进行连接.本文以hive wiki上示例为基础,详细讲解了如何使用jdbc连接hive数据库.hive wiki原文地址: https://cwiki.apache.org/confluence/display/Hive/HiveClient https://cwiki.apache.org/