分区和桶：
hive把表组织成分区，这是一种根据分区列的值进行粗略划分的机制。使用分区可以加快数据分片的查询速度。
表或分区可以进一步划分为桶，它会为数据提供额外的数据结构从而获得更高效的查询处理。比如：根据用户ID来划分桶，我们可以在所有用户集合的随机样本上快速计算基于用户的查询。
分区：
分区是在创建表时用PARTITIONED BY子句进行定义。该子句需要定义列的列表。
create table logs(ts String,line String )
PARTITIONED BY(dt String,country String);数据加载到分区表时，要显示指定分区值
load data local inpath ‘input/hive/partitions/file1‘
into table logs
partition (dt=‘20150824‘,country=‘CN‘) ;表后可以使用alter table 来增加和删除分区。
如何知道表中有哪些分区：
show partitions logs;在select语句中，以普通方式使用分区列，hive对输入进行裁剪，只扫描相关的分区。
select ts,dt,line from logs where country=‘GB‘; 返回dt分区列的值，这个值从目录中读取,因为它们在数据文件中不存在。
桶：
hive如何划分桶？
使用 CLUSTERED BY 子句来划分桶所用的列和要划分桶的个数：
create table b_user (id int ,name String)
CLUSTERED BY (id) into 4 buckets;桶中的数据根据一个或多个列进行排序，每个桶连接变成了高效的合并排序，提升了map连接的效率：
create table b_user(id int,name string)
CLUSTRED BY (id) SORTED BY (id ASC) INTO 4 BUCKETS;这样hive并不检查数据文件中的桶和表定义中的桶是否一致。两者不一致，只有在查询时才能发现错误和未定义的结果。
要向分桶表中填充成员，需要将hive.enforce.bucketing属性设置为 true,这样hive知道用表定义的数量来创建桶。
insert overwrite table b_user
select * from users;每个桶就是表（或分区）目录里的一个文件，一个作业产生的桶 和reduce 任务个数相同。
可以用TABLESAMPLE子句对表进行取样，这个子句会查询限定在一部分桶内而不是使用整个表。
select * from b_user
TABLESAMPLE(BUCKET 1 out of 4 ON id );这样的查询会返回一半的桶：
select * from b_user
TABLESAMPLE(BUCKET 1 out of 2 ON id );取样分桶表是非常高效的操作，查询只需读取和TABLESAMPLE子句匹配的桶 。使用rand()函数对没有划分成桶的表进行取样，即使只需要读取很小一部分样本，也要扫描整个输入数据集。
select * from users
TABLESAMPLE (BUCKET 1 out of 4 on rand());小结：
分区是是对分区列的值进行粗略划分的机制，可以加快查询速度。桶的划分是在表或者分区的基础上，可以提供更高效的查询处理。学习分区和桶的定义，理解它们的机制。
版权声明：本文为博主原创文章，未经博主允许不得转载。