hive的udf的编写

1.配置环境

1.引入jar包:hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar

2.编写udf函数

1.extends UDF

2.重新定义UDF的evaluate函数。

package com.qunar.hiveudf;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

import org.apache.hadoop.hive.ql.exec.UDF;

public class IsSundayOrSaturday extends UDF
{
	public Boolean evaluate(String dateString)
	{
		try
		{
			//将string转化为date
			String str = dateString.split(" ")[0];
			SimpleDateFormat sdf= new SimpleDateFormat("yyyy-MM-dd");
			Date date =sdf.parse(str);

			//将date转换为calendar
			Calendar calendar = Calendar.getInstance();
			calendar.setTime(date);

			//获取date的星期
			int week = calendar.get(Calendar.DAY_OF_WEEK)-1;
			if(week == 0 || week == 6)
			{
				return true;
			}
			else
			{
				return false;
			}
		}
		catch (Exception e)
		{
			// TODO: handle exception
			return false;
		}
	}
}

3.将jar包引入hadoop环境

1.将jar放入hive的lib的物理目录下;

2.打开hive客户端,加入jar包

add jar /home/hive/lib/HiveUDF.jar

3.创建一个临时文件

create temporary function IsSundayOrSaturday AS ‘com.qunar.hiveudf.IsSundayOrSaturday‘

4.调用函数

select IsSundayOrSaturday(intime) from user_tag

注意:

1.如果函数的参数中含有文件,则先要将文件放入hive的运行环境中

add file /home/filename

时间: 2025-01-02 15:36:50

hive的udf的编写的相关文章

hive 的udf 函数使用

1)依据课程讲解UDF编程案例,完成练习,总结开发UDF步骤,代码贴图,给予注释,重点 2)更改emp 表中名字的大写给为小写. 一:hive 的udf 函数: 1.1 hive UDF 函数概述: 1. hive自带了一些函数比如:max/min 等,但是由于自带的函数数量有限,自己可以定义udf来方便扩展. 2. udf 函数可以直接应用于select 语句,对查询结构做格式化处理之后,然后再输出内容. 1.2 hive 编写udf函数的时候需要注意的地方: 1. 自定义udf函数需要继承o

Hive 10、Hive的UDF、UDAF、UDTF

Hive自定义函数包括三种UDF.UDAF.UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数,多进一出.Count/max/min UDTF(User-Defined Table-Generating Functions)  一进多出,如lateral view explore() 使用方式 :在HIVE会话中add 自定义函数的jar文件,然后创建function继而使用函数

hive下UDF函数的使用

1.编写函数 [java] view plaincopyprint?package com.example.hive.udf;    import org.apache.hadoop.hive.ql.exec.UDF;  import org.apache.hadoop.io.Text;    public final class LowerCase extends UDF {    public Text evaluate(final Text s) {      if (s == null)

HIVE的UDF

HIVE的UDF    新建java工程,导入hive相关包,导入hive相关的lib.    创建类继承UDF    自己编写一个evaluate方法,返回值和参数任意.    为了能让mapreduce处理,String要用Text处理.    将写好的类打成jar包,上传到linux中    在hive命令行下,向hive注册UDF:add jar /xxxx/xxxx.jar    为当前udf起一个名字:create temporary function fname as '类的全路径

hive之UDF函数编程详解

UDF的定义 UDF(User-Defined Functions)即是用户定义的hive函数.hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了 UDF的分类 UDF:one to one,进来一个出去一个,row mapping.是row级别操作,如:upper.substr函数 UDAF:many to one,进来多个出去一个,row mapping.是row级别操作,如sum/min. UDTF:one to many ,进来一个出去多个.如alteral view与

Hive学习心得&Hive的UDF

一:Hive基本介绍 Hive是建立在Hadoop上的数据仓库基础构架,它提供了一系列工具可以用来进行数据提取.转化.加载,这是一种可以存储.查询和分析存储在Hadoop中的大规模的数据机制. 使用语言:QL语言(类SQL查询语言).能处理内建的mapper和reducer无法完成的复杂分析工作. 1.Hive是SQL解析引擎,它将SQL语句转译成M/R Job然后再Hadoop执行. 2.Hive的表其实是HDFS的目录(/文件夹),按表名把文件夹区分开.如果是分区表,则分区值是子文件夹,可以

hive中udf读写hbase

在大数据开发过程中经常会遇到,将hive中处理后的结果写入hbase中,每次都要写java程序会非常浪费时间,我们就想了一个办法 ,用hive的udf来实现. 只需要调用同一个udf,将表名字段名以及每一个字段的值作为udf的参数,就可以实现写hbase了. 这样大大的节省了开发时间,提升了开发效率. 大家可以按照这种思路写自己需要的功能.这里只简单的列举几个供大家参考,具体操作如下: 一.依赖的jar包 commons-codec-1.7.jar commons-collections-3.2

【甘道夫】开发Hive自定义UDF,生成32位字母数字随机串

引言 曾经认为Hive自带的函数应该可以cover住我的日常所需,心想那些需要使用自定义函数的场景是不是太奇葩,谁知命运弄人,自己还是碰上了. 需求很简单,我需要模拟Oracle中的SYS_GUID()函数,生成一个32位的字母数字随机串. 开发环境:Eclipse+Maven,引入Hive0.13.1的依赖. 欢迎转载,请注明来源: http://blog.csdn.net/u010967382/article/details/41083617 代码 package cn.fulong.big

hive 常用UDF

Hive UDF整理 (可以直接在mysql上测试,hive中没有伪表,需要手动创建,反应慢)字符串函数 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive> select length(‘abcedfg’) from dual; 7 字符串反转函数:reverse 语法: reverse(string A) 返回值: string 说明:返回字符串A的反转结果 举例: hive> select reverse(