hive数据库的一些应用

1、创建表格create table usr_info(mob string,reason string,tag string) row format delimited fields terminated by ‘\t‘ stored as textfile;
2、将本地文件上传到创建表格中load data local inpath‘/home/one.txt‘ overwrite into table usr_info;
3、修改表格中某个列的属性或列名alter table usr_info change mob mobile int;
4、删除表格drop table usr_info;
5、
  表名aaa
  id
  1
  2
  3
  表名bbb
  id
  1
  2
  4
left join 左关联(向左对齐,右边表格没有的为null)
例(
select 
  aaa.* 
  ,bbb.* 
from 
  aaa 
left join 
  bbb 
on(aaa.id=bbb.id)

)
得到
  1 1
  2 2
  3 null
right join 右关联(向右对齐,左边表格没有的为null)
得到
  1 1
  2 2
  null 4
full join 全关联
得到
  1 1
  2 2
  3 null
  null 4
join 内关联
得到
  1 1
  2 2
6、desc 降序,asc升序
7、举例

hive -e"
select 
pt
,min(amt) as min_money
,max(amt) as max_money
,count(distinct amt) as money_cnt
,sum(amt) as sum_money
from 
usr_pay
where pt<=‘2015-09-14‘ and pt>=‘2015-09-13‘
group by pt
having min(amt)>10
order by pt desc"

8、 表格a union all b
要求列数、列名、列的顺序必须一致,最后得到的是结果的简单罗列(不去重)
9、order by rand()将前面得到的结果随机排序

10、if(one,two,three)用法 含义为如果one是真,取two,否则取three

11、case when one then two when three then four else five end as tag 用法含义同上

12、nvl(mob,1)用法 含义为如果mob是空,将它置为1

时间: 2024-10-09 00:04:15

hive数据库的一些应用的相关文章

Gradle实战:执行sql操作hive数据库

查看原文:http://blog.csdn.net/u010818425/article/details/52490628 Gradle实战系列文章: <Gradle基本知识点与常用配置> <Gradle实战:Android多渠道打包方案汇总> <Gradle实战:不同编译类型的包同设备共存> <Gradle实战:发布aar包到maven仓库> 本文将介绍使用groovy+sql的脚本,实现从hive抓取数据,为方便理解,重要语句有详细注释,关键处已标明“关

MapReduce数据清洗及Hive数据库操作

1. 数据清洗:按照进行数据清洗,并将清洗后的数据导入hive数据库中. 两阶段数据清洗: (1)第一阶段:把需要的信息从原始日志中提取出来 ip:    199.30.25.88 time:  10/Nov/2016:00:01:03 +0800 traffic:  62 文章: article/11325 视频: video/3235 (2)第二阶段:根据提取出来的信息做精细化操作 ip--->城市 city(IP) date--> time:2016-11-10 00:01:03 day

hive数据库导入与导出

原文连接:https://www.cnblogs.com/654wangzai321/p/9970321.html 把Hive表数据导入到本地 table->local file insert overwrite local directory '/root/hive_test/1.txt' select * from behavior_table; 把Hive表数据导入到HDFS上 table->hdfs file insert overwrite directory '/root/hive

hive数据库如何去重,去除相同的一模一样的数据

问题:发现存在一张表中存在相同的两行数据 得到:仅仅保留一行数据 方法: 原理-我们通过 1 select count (字段1,字段2) from 表1: 2 3 结果 200条数据 4 5 select count (distinct 字段1,字段2) from 表1: 6 7 结果 100条数据 8 9 相当于后者可以实现查出来去重后的数据 10 11 create table 表1_bak as select distinct 字段1,字段2 from 表1; --备份表数据 12 13

Hive中的数据库、表、数据与HDFS的对应关系

1.hive数据库 我们在hive终端,查看数据库信息,可以看出hive有一个默认的数据库default,而且我们还知道hive数据库对应的是hdfs上面的一个目录,那么默认的数据库default到底对应哪一个目录呢?我们可以通过hive配置文件hive-site.xml中的一个hive.metastore.warehouse.dir配置项看到信息. 如上图,它告诉了我们默认数据库default在hdfs的目录. 在我们的metastore中,我们可以查阅表DBS来获知对应关系. 2.hive表

sqoop往hive中导入数据报找不到数据库错误

sqoop版本为1.4.4,hadoop版本为2.2.0,hive版本为0.11.0,hive元数据存放位置为mysql,当使用sqoop 从mysql往hive中导入数据时,总是提示找不到所指定的hive数据库,事实上hive中已存在该数据库,sqoop中也设置了hive路 径,/etc/profile文件中也已经设置好hive路径. mysql往hive中导数据命令: 1 ${SQOOP_HOME}/bin/sqoop import --connect jdbc:mysql://${host

HBase完全分布式安装以及Hive远程模式(mysql作为数据库)的安装

各位真的不好意思.上次的博文有误.上次的应该是HBase的伪分布式安装.这次本人保证是完全分布式安装. 首先是HBase的完成分布式安装.这次部署的环境是hadoop-1.2.1+hbase-0.98.X.因为这个版本的HBase是直接对应hadoop-1.2.1,故也就省去了覆盖jar包的步骤以及排除了覆盖带来的不稳定性.OK,下载后解压,进入conf目录,配置hbase-env.sh文件.如图.这里HBASE_CLASSPATH是指向hadoop的conf目录的,这点需要注意. 下面是打开z

Hive学习之路 (三)Hive元数据信息对应MySQL数据库表

概述 Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理.上一篇hive的安装也是将元数据信息存放在MySQL数据库中. Hive的元数据信息在MySQL数据中有57张表 一.存储Hive版本的元数据表(VERSION) VERSION   -- 查询版本信息 该表比较简单,但很重要. VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1 0.13.0 Set by MetaStore 如果该表出现问题

Hive的数据库和表

本文介绍一下Hive中的数据库(Database/Schema)和表(Table)的基础知识,由于篇幅原因,这里只是一些常用的.基础的. Hive的数据库和表 先看一张草图: Hive结构 从图上可以看出,Hive作为一个"数据库",在结构上积极向传统数据库看齐,也分数据库(Schema),每个数据库下面有各自的表组成. 1.  Hive在HDFS上的默认存储路径 Hive的数据都是存储在HDFS上的,默认有一个根目录,在hive-site.xml中,由参数hive.metastore