Hive JDBC 连接hiveserver2

1.启动hiveserver2

nohup /home/hadoop/hive-1.1.0-cdh5.5.2/bin/hiveserver2 >> /home/hadoop/gtq_dir/logs/hiveserver.log 2>&1 &

2.代码如下:

package cn.hive;

import java.sql.*;

/**
 * Created by jieyue on 2017/12/18.
 */
public class HiveJdbcTest {
    private static String driveName = "org.apache.hive.jdbc.HiveDriver";
    private static Connection con = null;
    private static Statement stmt = null;
    private static ResultSet res = null;

    public static void main(String[] args) throws SQLException {
        try {
            Class.forName(driveName);
            con = DriverManager.getConnection("jdbc:hive2://172.17.101.12:10000/demo", "root", "");
            stmt = con.createStatement();
            String tableName = "t_h_jdbc";
            stmt.execute("DROP TABLE IF EXISTS " + tableName);
            stmt.execute("create table " + tableName + "(key int ,value string)");
            System.out.println("create table success!!");

            String sql = "show create table " + tableName;
            System.out.println("Running :" + sql);
            res = stmt.executeQuery(sql);
            if (res.next()) System.out.println(res.getString(1));

            sql = "desc " + tableName;
            System.out.println("Running :" + sql);
            res = stmt.executeQuery(sql);
            while (res.next()) System.out.println(res.getString(1) + "\t" + res.getString(2));

            sql = "select * from " + tableName;
            System.out.println("Running :" + sql);
            res = stmt.executeQuery(sql);
            while (res.next()) System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2));

            sql = "select count(*) from " + tableName;
            res = stmt.executeQuery(sql);
            System.out.println("Running :" + sql);
            while (res.next()) System.out.println(res.getString(1));

        } catch (Exception e) {
            e.printStackTrace();
            System.exit(1);
        } finally {
            if (res != null) res.close();
            if (stmt != null) stmt.close();
            if (con != null) con.close();
        }

    }
}

3.pom文件如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>mm</groupId>
    <artifactId>MyDemoApp</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <hadoop.version>2.6.0</hadoop.version>
        <hive.version>1.1.0</hive.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>${hive.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>jdk.tools</artifactId>
                    <groupId>jdk.tools</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>jdk.tools</artifactId>
                    <groupId>jdk.tools</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>jdk.tools</artifactId>
                    <groupId>jdk.tools</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>jdk.tools</artifactId>
                    <groupId>jdk.tools</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
    </dependencies>
    <build>
        <resources>
            <resource>
                <directory>${basedir}/src/main/java</directory>
                <excludes>
                    <exclude>**/*.java</exclude>
                </excludes>
                <filtering>true</filtering>
            </resource>
        </resources>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.1</version>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.3</version>
                <configuration>

                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
时间: 2024-11-08 18:36:17

Hive JDBC 连接hiveserver2的相关文章

HIVE JDBC连接详解

package org.conan.myhadoop.mr; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public class HiveJDBCConnection {     private static String driverName = "or

通过JDBC连接hive

hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准.基础的数据操作我们可以通过脚本方式以hive-client进行处理.若需要开发应用程序,则需要使用hive的jdbc驱动进行连接.本文以hive wiki上示例为基础,详细讲解了如何使用jdbc连接hive数据库.hive wiki原文地址: https://cwiki.apache.org/confluence/display/Hive/HiveClient https://cwiki.apache.org/

hive jdbc connection refused

hive jdbc 连接时抛异常: Exception in thread "main" java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.206.128:10000/default: java.net.ConnectException: Connection refused: connect     at org.apache.hive.jdbc.Hiv

Hive基础之HiveServer2 JDBC的使用

启动HiveServer2: cd $HIVE_HOME/bin 以后台方式默认端口启动HiveServer2(默认端口是10000):hiveserver2 & 以后台方式指定端口的方式启动:hiveserver2 --hiveconf hive.server2.thrift.port=14000 & 使用beeline连接HiveServer2: cd $HIVE_HOME/bin beeline -u jdbc:hive2://hadoop000:10000 参数描述: hadoop

jdbc连接HIVE

在hive上启动service hive --service hiveserver 在eclipse中进行开发 导入需要的jar包(我这个导入的是udf和jdbc连接hive需要的jar包,基本是最简的了) 我的代码,hive的语法就不说了,大家可以修改例子中的sql来进行自己的业务.我的hive没有设置用户名,密码.所以   Connection con = new HiveJDBC().getConnection(             "jdbc:hive://192.168.192.1

由“Beeline连接HiveServer2后如何使用指定的队列(Yarn)运行Hive SQL语句”引发的一系列思考

背景 我们使用的HiveServer2的版本为0.13.1-cdh5.3.2,目前的任务使用Hive SQL构建,分为两种类型:手动任务(临时分析需求).调度任务(常规分析需求),两者均通过我们的Web系统进行提交.以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列,为了避免两种类型的任务之间相互受影响以及并行任务数过多导致“hive”队列资源紧张,我们在调度系统中构建了一个任务缓冲区队列,所有被提交的任务(手动任务.调度任务)并不会直接被提交至集群,而是提交至这个缓冲区队列中,

Hive 0.14 + hadoop 2.4.1 环境下的 jdbc连接

本文记录在Hive 0.14 + hadoop 2.4.1 环境下,如何时用 jdbc连接到hive hive 的JDBC驱动还是比较好找的,在hive的包里就有 hive-jdbc-0.14.0-standalone.jar 是一个N合一的包,把它放到buildPath 除了这个包,还需要几个hadoop下的包,最后的buildpah如下图: 用服务模式启动hive,10010是监听的端口号 ? 1 hive --service hiveserver 10010 下面是个示例代码,连接到hiv

Hive On Spark hiveserver2方式使用

启动hiveserver2: hiveserver2 --hiveconf hive.execution.engine=spark spark.master=yarn 使用beeline连接hiveserver2: beeline -u jdbc:hive2://hadoop000:10000 -n spark 注意:每个beeline对应一个SparkContext,而在Spark thriftserver中,多个beeline共享一个SparkContext 可以通过YARN监控页面观察到:

Hive 8、Hive2 beeline 和 Hive jdbc

1.Hive2 beeline  Beeline 要与HiveServer2配合使用,支持嵌入模式和远程模式 启动beeline 打开两个Shell窗口,一个启动Hive2 一个beeline连接hive2 #启动HiverServer2 , ./bin/hiveserver2 [[email protected] ~]# hiveserver2 16/02/23 22:55:25 WARN conf.HiveConf: HiveConf of name hive.metastore.local