Hive bucket桶

对于每一个表(table)或者分区,Hive可以进一步组织成桶。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希,然后除于桶的个数求余的方式决定该条记录存放在哪个桶当中。采用桶能够带来一些好处,比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大减少JOIN的数据量。

Hive中table可以拆分成Partition,table和Partition可以通过‘CLUSTERED BY‘进一步分bucket,bucket中的数据可以通过‘SORT BY‘排序。

Hive中bucket的主要作用:

1.数据sampling

2.提升某些查询操作效率,列如Map Side join

注:cluster by和sorted by不会影响数据的导入,这意味着,用户必须自己负责数据如何导入,包括数据的分桶和排序。另外一个要注意的就是使用桶表的使用一定要设置如下属性:

[java] view plain copy

  1. hive.enforce.bucketing=true

示例:

#建立student表,如下:

[java] view plain copy

  1. hive (hive)> create table student(
  2. > id int,age int,name string)
  3. > partitioned by (stat_date string)
  4. > clustered by(id) sorted by(age) into 2 buckets
  5. > row format delimited
  6. > fields terminated by ‘\t‘
  7. > stored as textfile;
  8. > stored as textfile;
  9. OK
  10. Time taken: 0.101 seconds

#创建数据源

[java] view plain copy

  1. [root@liaozhongmin5 src]# vim student
  2. [root@liaozhongmin5 src]# more student
  3. 1   22  lavimer
  4. 2   23  liaozhongmin
  5. 3   24  liaozemin
  6. 4   25  liaomin
  7. 5   26  min

#启用桶表

[java] view plain copy

  1. hive (hive)> set hive.enforce.bucketing=true;

#导入数据

[java] view plain copy

  1. hive (hive)> load data local inpath ‘/usr/local/src/student‘ into table student partition(stat_date=‘2015-01-29‘);

#我在采用insert的语句将数据从表中查询出来从新覆盖进表中(因为通过load data的形式导入数据后能直观看到分桶的结构):

[java] view plain copy

  1. hive (hive)>
  2. > insert overwrite table student
  3. > partition(stat_date=‘2015-01-29‘)
  4. > select id,age,name from student where stat_date=‘2015-01-29‘ sort by age;

此时查看文件系统中的目录结构如下:

注:不知道为什么使用load data的形式导入数据时就不会有分桶的结构。

#查看所有数据

[java] view plain copy

  1. hive (hive)> select * from student;
  2. OK
  3. id  age name    stat_date
  4. 1   22  lavimer 2015-01-29
  5. 2   23  liaozhongmin    2015-01-29
  6. 3   24  liaozemin   2015-01-29
  7. 4   25  liaomin 2015-01-29
  8. 5   26  min 2015-01-29
  9. Time taken: 0.328 seconds

#查看sampling数据

[java] view plain copy

  1. hive (hive)> select * from student tablesample(bucket 1 out of 2 on id);

注:上述语句表示抽取1(2/2)个bucket的数据从第一个桶中抽取数据。

 

结果如下:

[java] view plain copy

  1. id  age name    stat_date
  2. 2   23  liaozhongmin    2015-01-29
  3. 4   25  liaomin 2015-01-29

注:

tablesample是抽样语句,语法:tablesample(bucket x out of y),y必须是table总共bucket数的倍数或者因子。Hive根据y的大小,决定抽样的比例。例如:table总共分了64份,当y=32时,抽取2(64/32)个bucket的数据,当y=128时,抽取1/2(64/128)个bucket的数据。x表示从哪个bucket开始抽取。例如:table总共bucket数为32,tablesample(bucket 3 out of 16)表示总共抽取2(32/16)个bucket的数据,分别为第三个bucket和第19(3+16)个bucket的数据。

时间: 2024-10-21 14:12:45

Hive bucket桶的相关文章

hive bucket 桶

对于每一个表(table)或者分区,Hive可以进一步组织成桶.Hive也是针对某一列进行桶的组织.Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中.采用桶能够带来一些好处,比如JOIN操作.对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作.那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量. hive中table可以拆分成partition,table和partition可以通过'CLUSTERED BY '进一步分buc

Hive bucket

Hive中不支持对数据的改写和添加,所有的数据都是在加载的时候中确定好的 由于数据的访问延迟较高,决定了 Hive 不适合在线数据查询 Hivebucket: hive中table可以拆分partition,table和partition可以通过'CLUSTERED(聚集) BY '进一步分bucket,bucket中的数据可以通过'SORT BY'排序 ucket主要作用: 1. 数据sampling(抽样) 2. 提升某些查询操作效率,例如map side join 需要特别注意的是:clu

大数据--hive分桶查询&&压缩方式

一.分桶及抽样查询 1.分桶表创建 --------------------------------------- hive (db_test)> create table stu_buck(id int,name string) > clustered by(id) > into 4 buckets > row format delimited fields terminated by '\t';OKTime taken: 0.369 seconds --------------

Linux内核哈希表中的bucket桶

哈希表 哈希表(Hashtable)又称为“散列”,Hashtable是会根据索引键的哈希程序代码组织成的索引键(Key)和值(Value)配对的集合.Hashtable 对象是由包含集合中元素的哈希桶(Bucket)所组成的.而Bucket是Hashtable内元素的虚拟子群组,可以让大部分集合中的搜寻和获取工作更容易.更快速. 哈希函数(Hash Function)为根据索引键来返回数值哈希程序代码的算法.索引键(Key)是被存储对象的某些属性值(Value).当对象加入至 Hashtabl

Hive桶表

桶(bucket)是指将表或分区中指定列的值为key进行hash,hash到指定的桶中,这样可以支持高效采样工作. 抽样(sampling)可以在全体数据上进行采样,这样效率自然就低,它还是要去访问所有数据.而如果一个表已经对某一列制作了bucket,就可以采样所有桶中指定序号的某个桶,这就减少了访问量. 针对桶的操作,总共有四步: 1).开启桶的服务 Hive > set hive.enforce.buketing=true; 2).创建桶表 首先,我们来看如何告诉Hive—个表应该被划分成桶

Hive分区表与分桶

分区表 在Hive Select查询中,一般会扫描整个表内容,会消耗很多时间做没必要的工作. 分区表指的是在创建表时,指定partition的分区空间. 分区语法 create table tablename name string ) partitioned by(key type,-) create table if not exists employees( name string, salary string, subordinates array<string>, deduction

【原】hive 操作笔记

1.建表: hive> CREATE TABLE pokes (foo INT, bar STRING);hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);由于很多数据在hadoop平台,当从hadoop平台的数据迁移到hive目录下时,由于hive默认的分隔符是/u0001,为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下:create table ooo(uid string,n

Hive介绍、安装(转)

1.Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.它是Facebook 2008年8月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口,Hive有如下优缺点: l  优点: 1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员学习的曲线: 2.使用JDBC 接口/ODBC接口,开发人员更易开发应用: 3.以MR 作为计算引擎.HDFS 作为存储系统,为

hive初探2_数据模型

1.hive数据类型: 基本数据类型:tinyint.smallint.int.bigint.float.double.boolean.string 复合数据类型: array:一段有序字段,字段的类型必须相同 map:一组无序的健/值对,健的类型必须是原子类型 struct:一组命名的字段,类型可以不同 复杂数据类型用法如下: Create table complex( col1 ARRAY<INT>, Col2 MAP<STRING,INT>, Col3 STRUCT<a