hive的union问题

内容来源:http://blog.csdn.net/azhao_dn/article/details/6921429

在hive上执行查询:

select count(*) from user_active_vv_20110801_31 where
active_type_3>0

UNION ALL

select count(*) from user_active_vv_20110801_31 where
active_type_7>0

union all

select count(*) from user_active_vv_20110801_31 where
active_type_9>0

union all

select count(*) from user_active_vv_20110801_31 where
active_type_11>0

union all

select count(*) from user_active_vv_20110801_31 where
active_type_12>0

union all

select count(*) from user_active_vv_20110801_31 where
active_type_17>0

union all

select count(*) from user_active_vv_20110801_31 where
active_type_22>0;

报错:

FAILED: Error in semantic analysis: Top level UNION
is not supported currently; use a subquery for the UNION

原来hive不支持顶层union,只能将union封装在子查询中;且必须为union的查询输出定义别名,正确的hql如下:

select * from (select count(*) as type3 from
user_active_vv_20110801_31 where
user_active_vv_20110801_31.active_type_3>0

UNION ALL

select count(*) as type3 from
user_active_vv_20110801_31  where
user_active_vv_20110801_31.active_type_7>0

union all

select count(*) as type3 from user_active_vv_20110801_31
where user_active_vv_20110801_31.active_type_9>0

union all

select count(*) as type3 from user_active_vv_20110801_31
where user_active_vv_20110801_31.active_type_11>0

union all

select count(*) as type3 from user_active_vv_20110801_31
where user_active_vv_20110801_31.active_type_12>0

union all

select count(*) as type3 from user_active_vv_20110801_31
where user_active_vv_20110801_31.active_type_17>0

union all

select count(*) as type3 from user_active_vv_20110801_31
where user_active_vv_20110801_31.active_type_22>0) tmp;

执行结果如下:

  • 54211920

  • 57691832

  • 41080830

  • 44067696

  • 32052350

  • 34341676

  • 13968539

hive的union问题,布布扣,bubuko.com

时间: 2024-10-09 04:31:16

hive的union问题的相关文章

hive 中 union all

hive 中的union all是不能在sql语句的第一层使用的,否则会报 Top level UNION is not supported currently 错误: 例如如下的方式: select id,name from user where type = 1 union all select id,name from user where type = 2 上面的方式应该使用子查询的方式书写: select * from ( select id,name from user where

[HIve - LanguageManual] Union

Union Syntax select_statement UNION ALL select_statement UNION ALL select_statement ... UNION is used to combine the result from multiple SELECT statements into a single result set. Hive currently only supports UNION ALL (bag union), in which duplica

hive union all报错

今天在写一个sql的时候,使用了hive的union all,运行时报错. sql如下: select dimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_time from temp_bi.uv union all select '平台' dimension_name ,dt ,app_platform dtype_name ,count(distinct mid) uv ,count(distinct case when is_new 

Hive优化总结

优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜. 理解hadoop的核心能力,是hive优化的根本.这是这一年来,项目组所有成员宝贵的经验总结. 长期观察hadoop处理数据的过程,有几个显著的特征: 1.不怕数据多,就怕数据倾斜. 2.对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,没半小时是跑不完的.map reduce作业初始化的时间是比较长的. 3.对sum,count来说,不存在数据倾斜问题.

Hive 12、Hive优化

要点:优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜. 理解hadoop的核心能力,是hive优化的根本. 长期观察hadoop处理数据的过程,有几个显著的特征: 1.不怕数据多,就怕数据倾斜. 2.对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,没半小时是跑不完的.map reduce作业初始化的时间是比较长的. 3.对sum,count来说,不存在数据倾斜问题. 4.对count(distinct )

Hive ive优化 (important)

Hive ive优化 要点:优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜. 理解hadoop的核心能力,是hive优化的根本. 长期观察hadoop处理数据的过程,有几个显著的特征: 1.不怕数据多,就怕数据倾斜. 2.对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,没半小时是跑不完的.map reduce作业初始化的时间是比较长的. 3.对sum,count来说,不存在数据倾斜问题. 4.对count

一例 Hive join 优化实战

由于 hive 与传统关系型数据库面对的业务场景及底层技术架构都有着很大差异,因此,传统数据库领域的一些技能放到 Hive 中可能已不再适用.关于 hive 的优化与原理.应用的文章,前面也陆陆续续的介绍了一些,但大多都偏向理论层面,本文就介绍一个实例,从实例中一步步加深对 hive 调优的认识与意识. 1.需求 需求我做了简化,很简单,两张表做个 join,求指定城市,每天的 pv,用传统的 RDBMS SQL 写出来就这样的: SELECT t.statdate, c.cname, coun

Hive学习笔记:基础语法

Hive基础语法 1.创建表 – 用户表 CREATE [EXTERNAL外部表] TABLE [IF NOT EXISTS 是否存在] HUserInfo ( userid int comment ‘用户Id’, username string comment ‘用户名称’, userpwd string comment ‘用户密码’, createtime string comment ‘创建时间’ ) comment ‘用户信息表’ row format delimited fileds

Hive调优实战

Hive优化总结 ---by 食人花 优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜. 理解hadoop的核心能力,是hive优化的根本.这是这一年来,项目组所有成员宝贵的经验总结.   长期观察hadoop处理数据的过程,有几个显著的特征: 1.不怕数据多,就怕数据倾斜. 2.对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,没半小时是跑不完的.map reduce作业初始化的时间是比较长的. 3.对su