PIG中的null问题

在比较操作(==,!=,>,<,>=,<=),matches,算数操作(+,-,*,/ ,包含%,?,CASE)中,如果有一个操作数为空,那么结果为空。

COUNT_STAR ,不过滤null数据

CAST 操作:将一个null数据从一个数据类型转换到另一个数据类型,结果为空

AVG,MIN,MAX,SUM,COUNT :这几个操作将忽略空值

CONCAT :任意一个字表达式为空,结果为空

SIZE :任意计算的对象为null,结果也为null

tuple(.) or map(#):如果 被引用的对象为空,那么结果为空 。

FILTER 操作 :如果一个filter的表达式为空,filter将不会拒绝操作。(eg :b = filter a by X!=5 ,如果X为空,!X也为空,X!=5 将为空,那么filter将不会处理这一行数据。)

三元操作符 ? :如果一个bool表达式的结果为null,结果将为空。

以下操作会产生nulls :

1、除0

2、用户的UDFs

3、引用一个不存在的字段

4、引用一个map中不存在的字段

5、引用一个tuple中不存在的字段

6、load不存在的数据时产生null,空字符串不会被load,会被替换成null

null可以作为一个常量使用 。

7、load时数据类型不匹配产生null

GROUP /COGROUP/JOIN:

当使用group来处理一个关系时,一个关系中的null会被聚集在一起当做一个null处理 。

当cogroup来处理多个关系是,如果有key为空的情况时,多个关系之间的的空是不一样的,会被分别当做不同的null key来处理。

JOIN :


数据 :

a :

1       5

4

3       6

b :

1       7

2       8

10

JOIN【inner】如:join中空和空是匹配不上的,会被过滤掉 。在join之前过滤出key为空的数据 ,有助于提高join的速度。

a = load ‘./t1.txt‘ as (a1:int,a2:int);

b = load ‘./t2.txt‘ as (b1:int,b2:int);

c= join a by a1,b by b1 ;

dump c ;

(1,5,1,7)

JOIN【outer】

d = join a by a1 left,b by b1 ;

dump d ;

(1,5,1,7)

(3,6,,)

(,4,,)

d = join a by a1 right,b by b1;

dump d ;

(1,5,1,7)

(,,2,8)

(,,,10)

d = join a by a1 full,b by b1;

dump d ;

(1,5,1,7)

(,,2,8)

(3,6,,)

(,4,,)

(,,,10)

PIG中的null问题,布布扣,bubuko.com

时间: 2024-10-13 01:23:18

PIG中的null问题的相关文章

pig中使用的一些实例语法

在pig中, dump和store会分别完毕两个MR, 不会一起进行 1:载入名用正則表達式: LOAD '/user/wizad/data/wizad/raw/2014-0{6,7-0,7-1,7-2,7-3,8}*/3_1/adwords*' 2:filter的几种简单使用方法: 按值过滤 FILTER clickDate_all BY log_type=='2'; FILTER mapping_table BY mapping_ad_network_id=='3' AND mapping_

java中的null注意事件总结

对于Java程序员来说,null是令人头痛的东西.时常会受到空指针异常(NPE)的骚扰.连Java的发明者都承认这是他的一项巨大失误.Java为什么要保留null呢?null出现有一段时间了,并且我认为Java发明者知道null与它解决的问题相比带来了更多的麻烦,但是null仍然陪伴着Java. 我越发感到惊奇,因为java的设计原理是为了简化事情,那就是为什么没有浪费时间在指针.操作符重载.多继承实现的原因,null却与此正好相反.好吧,我真的不知道这个问题的答案,我知道的是不管null被Ja

转!!Java中关于Null的9个解释(Java Null详解)

对于Java程序员来说,null是令人头痛的东西.时常会受到空指针异常(NPE)的骚扰.连Java的发明者都承认这是他的一项巨大失误.Java为什么要保留null呢?null出现有一段时间了,并且我认为Java发明者知道null与它解决的问题相比带来了更多的麻烦,但是null仍然陪伴着Java. 我越发感到惊奇,因为java的设计原理是为了简化事情,那就是为什么没有浪费时间在指针.操作符重载.多继承实现的原因,null却与此正好相反.好吧,我真的不知道这个问题的答案,我知道的是不管null被Ja

数据库中的null问题

在数据库中有些列的值可以为null,这一篇,我们围绕数据库中的null来讲述. 1. null与 “”.0的区别   数据库中的null表示——不知道,“”——一个空字符串,0则是一个数值.  所以null是指不确定的意思,而后两者则都是确定的值.因此,我们在项目中必须严格区分null和空字符串.0 . 2. 查询Name为null的人的信息 在表 t_person中,Name这一列的值,可以为null,现在我们要查询所有Name为null的人的信息. select * from t_peopl

Java中的null关键字

先看一段代码 public class NULL { public static void Test(){ System.out.println("这是Test()的输出!!"); } public static void main(String[] args) { ((NULL)null).Test(); } } 上面的代码有没有错误? 答案是没有!! 编译运行 输出结果: 这是Test()的输出!! 这是因为Java中,null是一个关键字,用来标识一个不确定的对象.因此可以将nu

Java中的NULL

对于Java程序员来说,null是令人头痛的东西.时常会受到空指针异常(NPE)的骚扰.连Java的发明者都承认这是他的一项巨大失误.Java为什么要保留null呢?null出现有一段时间了,并且我认为Java发明者知道null与它解决的问题相比带来了更多的麻烦,但是null仍然陪伴着Java. 我越发感到惊奇,因为java的设计原理是为了简化事情,那就是为什么没有浪费时间在指针.操作符重载.多继承实现的原因,null却与此正好相反.好吧,我真的不知道这个问题的答案,我知道的是不管null被Ja

SQL中的Null深入研究分析

虽然熟练掌握SQL的人对于Null不会有什么疑问,但总结得很全的文章还是很难找,看到一篇英文版的, 感觉还不错. Tony Hoare 在1965年发明了 null 引用, 并认为这是他犯下的"几十亿美元的错误". 即便是50年后的今天, SQL中的 null 值还是导致许多常见错误的罪魁祸首. 我们一起来看那些最令人震惊的情况. Null不支持大小/相等判断 下面的2个查询,不管表 users 中有多少条记录,返回的记录都是0行: select * from users where

Java中的null对象也可以访问static成员变量和方法

声明:本博客为原创博客,未经允许,不得转载!小伙伴们如果是在别的地方看到的话,建议还是来csdn上看吧(链接为 http://blog.csdn.net/bettarwang/article/details/26515271),看代码和提问.讨论都更方便. 一般来说,一个类的对象要在实例化之后才可以访问类中的成员变量和方法.如果它还是null,通常意义上我们就认为它不能访问类中的成员.实际上确实不提倡这样,而且null对象确实不能访问实例成员(变量和方法),否则会引发NULLPointerExc

Java中有关Null的9件事

对于Java程序员来说,null是令人头痛的东西.时常会受到空指针异常(NPE)的骚扰.连Java的发明者都承认这是他的一项巨大失误.Java为什么要保留null呢?null出现有一段时间了,并且我认为Java发明者知道null与它解决的问题相比带来了更多的麻烦,但是null仍然陪伴着Java. 我越发感到惊奇,因为java的设计原理是为了简化事情,那就是为什么没有浪费时间在指针.操作符重载.多继承实现的原因,null却与此正好相反.好吧,我真的不知道这个问题的答案,我知道的是不管null被Ja