Hive 时间日期处理总结

最近用hive比较多,虽然效率低,但是由于都是T+1的业务模式。所以也就不要求太多了,够用就行。其中用的吧比较多就是时间了,由于大数据中很多字段都不是标准的时间类型字段,所以期间涉及了很多的时间日期字段的处理,这里做一个汇总。一遍以后查询使用。也方便大家学习。

下面列举几个用的比较多的情况进行说明:

获得当前日期的几种用法:

1.先来一个比较老的,select unix_timestamp() ;

结果如下:

2.通过提示可知该用法已经被放弃了建议采用current_timestamp来替代。查结果如下:

3.如果当前时间为int类型则需要转义一下比如使用from_unixtime()

SELECT from_unixtime(unix_timestamp());

--2018-02-27 14:51:01

4.获取当前日期CURRENT_DATE。代码如下:

SELECT CURRENT_DATE;

--2018-02-27

有关日期的函数:

1.对比日期函数,经常用于日期之间比较大小,或者计算差值,日期加减。

日期差值:datadiff(结束日期,开始日期),返回结束日期减去开始日期的天数。

日期加减:date_add(时间,增加天数),返回值为时间天+增加天的日期;date_sub(时间,减少天数),返回日期减少天后的日期。

执行情况如图所示:

  注意如果想知道相差多少个小时又怎么去求那?我们其实稍加改造即可。

  hour函数可以获得时间字段的小时数和datediff来获取两个日期相差的天数。然后利用天数*24+hour的差值即为所求,

  比如我们求2018-02-27 10:00:00 与 2018-02-25 12:00:00相差多少?

 实例代码如下:
select (hour(‘2018-02-27 10:00:00‘)-hour(‘2018-02-25 12:00:00‘)+(datediff(‘2018-02-27 10:00:00‘,‘2018-02-25 12:00:00‘))*24) as hour_subValue

--46 

  补充一个:返回当前时间下再增加num_months个月的日期  add_months(string start_date, int num_months)

2.上面介绍了hour函数,那么我们也会需要其他的时间提取,不多说直接看代码,年月日时分秒:
select year(‘2018-02-27 10:00:00‘),month(‘2018-02-27 10:00:00‘),day(‘2018-02-27 10:00:00‘),hour(‘2018-02-27 10:00:00‘),minute(‘2018-02-27 10:00:00‘),second(‘2018-02-27 10:00:00‘),weekofyear(‘2018-02-27 10:00:00‘); 

--2018    2    27    10    0    0    9

  补充:quarter,返回当前本年度第几个季度。

3.日期转换函数
to_date,语法: to_date(string timestamp),返回值为string类型的日期
示例如下:
select to_date(‘2018-02-27 10:03:01‘) ;

--2018-02-27
last_day(string date),返回这个月的最后一天的日期
select  last_day(‘2018-02-27 10:03:01‘);
--2018-02-28

next_day返回当前时间的下一个星期几所对应的日期 。如下

select next_day(‘2018-02-27 10:03:01‘, ‘TU‘);

--2018-03-06

  说明,输入日期为2-27,下个星期的周二为03-06,如果想要知道下周一的日期就是MO,周日就是SU,以此类推。

注意:

我跟无数多小白说过,西方国家周日是每周的第一天,所以日历和英语中都是现实周日再是周一,所以上面的下周日是3-4。注意喽!

总结

    以上是我平时经常用的一些日期相关的处理和函数,比较方便,想不起来就过来扫一眼。毕竟hive用的比较少,相对于关系型数据库的t-sql函数和方法还是比较low的,毕竟是个转义工具。目前主流还是hivesql,不过慢慢的都在想sparksql之类技术的转移了。以后有新的日期函数我会继续想本文中进行汇总,方便大家查询。

原文地址:https://www.cnblogs.com/wenBlog/p/8479460.html

时间: 2024-07-29 20:15:30

Hive 时间日期处理总结的相关文章

sqoop导入数据时间日期类型错误

一个问题困扰了很久,用sqoop import从mysql数据库导入到HDFS中的时候一直报错,最后才发现是一个时间日期类型的非法值导致. hive只支持timestamp类型,而mysql中的日期类型是datetime, 当datetime的值为0000-00-00 00:00:00的时候,sqoop import成功,但是在hive中执行select语句查询该字段的时候报错. 解决方法是在创建hive表时用string字段类型. sqoop导入数据时间日期类型错误,布布扣,bubuko.co

Hive的日期函数

1.unix时间戳转时间函数 语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式 举例: hive> select from_unixtime(1323308943,'yyyyMMdd') from dual; 20111208 2.获取当前时区的unix时间戳 语法: unix_timestamp() 返

Hive 时间操作

Hive 时间转换 UNIX时间戳概念:因为UNIX时间戳只是一个秒数,一个UNIX时间戳在不同时区看来,时间是不同的.如UNIX时间戳0,在0时区看来是1970-01-01 00:00:00,在东八区看来是1970-01-01 08:00:00. hive常用时间操作示例 -- 返回UNIX时间戳代表的(格林威治零时区)时间,默认格式如下. select from_unixtime(1); 1970-01-01 00:00:01 select from_unixtime(1 ,'yyyyMMd

一个自定义时间日期控件的使用

一个自定义时间日期的控件,依赖类是GitHub下的.比较好用,现在将使用流程记下: 1.布局文件 <TextView android:id="@+id/tv_remunera_day_datepick" style="@style/input_datepicker" android:layout_width="fill_parent" android:layout_height="wrap_content" androi

时间日期的jQuery代码

获取时间日期的jQuery代码:         function getNewtime(){                 var newtime = new Date();                 var yy = newtime.getYear().toString();                 yy = '20' + yy.substring(yy.length -2) ;                 var mm =newtime.getMonth();     

Js获取当前日期时间+日期印证+判断闰年+日期的天数差+日期格式化+JS判断某年某月有多少天

Js获取当前日期时间+日期验证+判断闰年+日期的天数差+日期格式化+JS判断某年某月有多少天 字符串转日期型+Js当前日期时间+日期验证+判断闰年+日期的天数差+日期格式化+日期所在年的第几周 日期时间脚本库方法列表Date.prototype.isLeapYear 判断闰年Date.prototype.Format 日期格式化Date.prototype.DateAdd 日期计算Date.prototype.DateDiff 比较日期差Date.prototype.toString 日期转字符

SQL-数学、字符串、时间日期函数和类型转换

--数学函数 --ABS绝对值,select ABS(-99)--ceiling取上限,select CEILING(4.5)--floor去下限select FLOOR(4.5)--power 几次方,select POWER(2,2)--round四舍五入,select round (6.45,1)--sqrt开平方select SQRT(9)--square平方select SQUARE(5) --字符串函数--ASCII 返回字符串最左边的字符ascii码select ASCII('na

mui 时间日期控件(浏览器上无法查看,在手机端可以点击)

<head> <meta charset="utf-8"> <meta name="viewport" content="width=device-width,initial-scale=1,minimum-scale=1,maximum-scale=1,user-scalable=no" /> <title></title> <link href="css/mui.mi

1、自学——Linux的学习进度与任务【时间日期管理类的命令】

时间日期管理类的命令 时间日期管理类的命令:  # date :显示 # date MMDDhhmm[CC]YY.ss :设定 # date [+FORMAT] %Y:4位年份 %y:  2位年份 %M:  分 %m:月 %d:  日 %H:  时 %S:  秒 %T: 时间(以冒号隔开) %D:日期 %F: 日期(以横杆隔开) unix元年:1970-01-01 00:00:00 %s:timestamp:从unix元年开始到此刻所经历的秒数 # cal   :    显示日历 # cal #