通过远程jdbc方式连接到hive数据仓库

1.启动hiveserver2服务器,监听端口是10000,启动名令:hive --service hiveserver2 &;//将其放在后台进行运行,判断启动是否成功的标志是:jps,是否有RunJar进程,或者netstat -anop |grep 10000查看10000端口是否连接

,如果可以连接,那么就可以使用beeline通过$>hive service hiveserver2这个命令连接进来

2.通过beeline的命令行连接到hiveserver2,可以直接写$>beeline 等价于:$>hive --service beeline,连接到数据库:$beeline>!connect jdbc:hive2://localhost/mydb1连接到数据库hive数据库mydb1

3.!help,打印出帮助汇总

4.beeline下面的命令:!tables

hive命令

//创建表
$hive>create table if not exists t1(name string) comment ‘xx‘ row format delimited fields terminated by ‘,‘ stored as textfile;
//创建外部表

$hive>create external table if not exists t1(name string) comment ‘xx‘ row format delimited fields terminated by ‘,‘ stored as textfile;

//查看数据

$hive>desc t2 ;

$hive>desc formatted t2;

$hive>load data local inpath ‘/home/centos/customers.txt‘ into table t2 ;//从本地文件上传到hive表中,local是上传文件,

//复制表

$mysql>create table tt as select * from users ; //复制表,携带数据和表结构

$mysql>create table tt like users ; //复制表,只携带表结构,不带数据

hive>create table tt as select * from users;
hive>create table tt  like users ;
hive>select count(*) from users;    //这个需要转成mr进行处理,count(*) 查询要转成mr查询
hive>select id,name from t2 order by id desc ;//order by是全排序,要转成mr,以内需要进行聚合

分区表

hive的优化手段之一:创建分区表
在hive中数据库是目录,表是目录,分区表还是目录,表下的分区仍然是目录,从目录层面控制搜索数据的范围
创建分区表
$hive>create table t3(id int,name string ,age int) partitioned by (year int,month int) row format delimited fields terminated by ","
//显示分区表的分区信息
hive>show partitions t5;
//添加分区修改表
$hive>altertable t3 add partition (year=2014,month=1) partition(year =2015,month=2);
hdfs -lsr /;//添加完成之后查看目录
//加载数据到指定分区
$hive>load data local inpath ‘/home/centos/customers.txt‘ into table t5 partition(year=2015,month=3);

原文地址:https://www.cnblogs.com/stone-learning/p/9278728.html

时间: 2024-08-30 05:52:45

通过远程jdbc方式连接到hive数据仓库的相关文章

HiveServer2 的jdbc方式创建udf的修改(add jar 最好不要使用),否则会造成一场 java.sql.SQLException: Error while processing statement: null

自从Hive0.13.0开始,使用HiveServer2 的jdbc方式创建udf的临时函数的方法由: ADD JAR ${HiveUDFJarPath} create TEMPORARY function md5  as 'com.hugedata.hive.udf.codec.UDFMd5'; 改为:     create TEMPORARY function md5  as 'com.hugedata.hive.udf.codec.UDFMd5' USING JAR ${HiveUDFJa

高速查询hive数据仓库表中的总条数

Author: kwu 高速查询hive数据仓库中的条数.在查询hive表的条数,通常使用count(*).可是数据量大的时候,mr跑count(*)往往须要几分钟的时间. 1.传统方式获得总条数例如以下: select count(*) from ods.tracklog; 执行时间为91.208s 2.与关系库一样hive表也能够通过查询元数据来得到总条数: select d.NAME,t.TBL_NAME,t.TBL_ID,p.PART_ID,p.PART_NAME,a.PARAM_VAL

Hadoop系列之Hive(数据仓库)安装配置

Hadoop系列之Hive(数据仓库)安装配置1.在NameNode安装  cd /root/soft  tar zxvf apache-hive-0.13.1-bin.tar.gz   mv apache-hive-0.13.1-bin /usr/local/hadoop/hive2. 配置环境变量(每个节点都需要增加) 打开/etc/profile #添加以下内容: export HIVE_HOME=/usr/local/hadoop/hive export PATH=$HIVE_HOME/

快速查询hive数据仓库表中的总条数

Author: kwu 快速查询hive数据仓库中的条数,在查询hive表的条数,通常使用count(*),但是数据量大的时候,mr跑count(*)往往需要几分钟的时间. 1.传统方式获得总条数如下: select count(*) from ods.tracklog; 2.与关系库一样hive表也可以通过查询元数据来得到总条数: <pre name="code" class="sql">select d.NAME,t.TBL_NAME,t.TBL_I

Hive数据仓库工具安装

一.Hive介绍 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单SQL查询功能,SQL语句转换为MapReduce任务进行运行. 优点是可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.缺点是Hive不适合在大规模数据集上实现低延迟快速的查询. 二.安装Hive 环境:Docker(17.04.0-ce).镜像Ubuntu(16.04.3).JDK(1.8.0_144).

Hive --数据仓库工具

Hive–数据仓库工具 1.Hive核心架构 2.Hive开发环境和使用方式 3.Hive核心原理解析 4.核心概念 5.HQL查询详解 6.Hive批处理脚本开发 7.Hive函数详解 8.高级特性与调优 原文:大专栏  Hive --数据仓库工具 原文地址:https://www.cnblogs.com/chinatrump/p/11597075.html

配置Hive数据仓库

1.在线安装mysql服务 #下载安装mysql yum install mysql mysql-server mysql-devel #启动mysql服务 cd /etc/ init.d/mysqld start #mysql连接并登录 mysql #修改登录mysql用户名及密码 USE mysql; UPDATE user SET Password=PASSWORD('password') WHERE user='root'; #设置允许远程登录 GRANT ALL PRIVILEGES

使用远程mysql作为元数据库安装Hive

环境: CentOS6.6  hadoop1.2.1  mysql5.1.73 1.下载 [[email protected] ~]$ wget http://mirrors.cnnic.cn/apache/hive/hive-1.0.0/apache-hive-1.0.0-bin.tar.gz 2.解压 [[email protected] ~]$ tar -zxf apache-hive-1.0.0-bin.tar.gz 3.设置环境变量 [[email protected] ~]$ vim

jmeter中通过jdbc方式连接mysql数据库的配置参考

jmeter中通过jdbc方式连接mysql数据库的配置参考: Database URL=jdbc:mysql://ip:port/dbname?useUnicode=true&characterEncoding=UTF-8 JDBC Driver class=com.mysql.jdbc.Driver jmeter中配置截图: