hive 索引

一、Hive的索引

索引是标准的数据库技术，hive 0.7版本之后支持索引。Hive提供有限的索引功能，这不像传统的关系型数据库那样有“键(key)”的概念，用户可以在某些列上创建索引来加速某些操作，给一个表创建的索引数据被保存在另外的表中。 Hive的索引功能现在还相对较晚，提供的选项还较少。但是，索引被设计为可使用内置的可插拔的java代码来定制，用户可以扩展这个功能来满足自己的需求。 当然不是说有的查询都会受惠于Hive索引。用户可以使用EXPLAIN语法来分析HiveQL语句是否可以使用索引来提升用户查询的性能。像RDBMS中的索引一样，需要评估索引创建的是否合理，毕竟，索引需要更多的磁盘空间，并且创建维护索引也会有一定的代价。
用户必须要权衡从索引得到的好处和代价。

索引的建立

先创建hive表

hive> create table user( id int, namestring)

> ROW FORMAT DELIMITED

> FIELDS TERMINATED BY ‘\t‘

> STORED AS TEXTFILE;

导入数据

hive> load data local inpath ‘/usr/local/trl/row.txt‘

> overwrite into table user;

Select*from use---------------------------à耗时10秒

对user建立索引

hive> create index user_index on tableuser(id)

> as ‘org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler‘

> with deferred rebuild

> IN TABLE user_index_table;

hive> alter index user_index on userrebuild;

hive> select * from user_index_table;

耗时9s这和没有创建索引的效果差不多

1. order by会对查询结果集做一次全局的排序，也就是说所有的数据都传给一个reduce来处理对于大数据集来说，这个过程可能很慢

2. sort by只会在每一个reduce中进行排序，这样只保证每个reduce的输出数据是有序的（并非全局排序），这样可以提高后面全局排序的效率。

3.union all 用于多表合并的场景，要求各表select出的字段类型必须完全匹配

用于多表不同字段的结果表进行合并操作

hive不支持顶层union，只能union封装在子查询中，而且必须有别名

4.hive索引

索引key冗余存储，提供基于key的数据视图

存储设计优化查询和检索性能

对某些查询减少IO