1 hive表关联查询，如何解决数据倾斜的问题?
倾斜原因：
map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。
1)、key分布不均匀;
2)、业务数据本身的特性;
3)、建表时考虑不周;
4)、某些SQL语句本身就有数据倾斜;
如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。
解决方案
1>.参数调节：
hive.map.aggr = true
hive.groupby.skewindata=true
有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个Reduce中），最后完成最终的聚合操作。
2>.SQL 语句调节：
1)、选用join key分布最均匀的表作为驱动表。做好列裁剪和filter操作，以达到两表做join 的时候，数据量相对变小的效果。
2)、大小表Join：
使用map join让小的维度表（1000 条以下的记录条数）先进内存。在map端完成reduce.
4)、大表Join大表：
把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null 值关联不上，处理后并不影响最终结果。
5)、count distinct大量相同特殊值:
count distinct 时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union。
Hive 原理
1. 用户提交查询等任务给Driver。
2. 编译器获得该用户的任务Plan。
3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。
4. 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。
5. 将最终的计划提交给Driver。
6. Driver将计划Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或者SourceManager执行该任务，任务会直接读取HDFS中文件进行相应的操作。
7. 获取执行的结果。
8. 取得并返回执行结果。
Mapreduce和hive的区别和联系
http://www.360doc.com/content/14/1208/10/20466010_431234360.shtml
hive是基于hadoop的数据仓库。
那么为什么说hive是基于Hadoop的呢？
之所以说hive是构建在Hadoop之上的数据仓库，简单的说是因为：
①数据存储在hdfs上
②数据计算用mapreduce
Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；它可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去查询分析需要的内容，这套 SQL 简称 Hive SQL（HQL），使不熟悉MapReduce 的用户也能很方便地利用 SQL 语言对数据进行查询、汇总、分析。
Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在hadoop上运行，数据存储在HDFS上。
简述有Hive之后，为何还要学mapreduce
https://blog.csdn.net/WYpersist/article/details/79981385
你觉得Hive是否支持in函数
https://blog.csdn.net/WYpersist/article/details/79980945
当输入hive 命令时卡住了，你认为是为什么，从哪些方面考虑
Cpu ，网络，内存
说出Hive 安装数据时，mysql和Derby的区别，为什么安装mysql ，或为什么安装Derby，分别有什么优缺陷
https://blog.csdn.net/WYpersist/article/details/80101617
简述Hive 桶表什么，什么作用，举例
Hive 分区是什么，什么作用，该怎么分区
Hive 动态分区和静态分区
Hive 分区重命名
说出Hive 导入数据的过程（表有多个分区，桶）
Hive 排序
什么是Hive join
说说你所理解的Hive 视图操作
Hive 序列函数
简述Hive 自定义函数
知道Hive UDF是什么吗，什么作用，为什么要用
简述Hive 优缺点
https://blog.csdn.net/wypersist/article/details/79999401
说说Hive内部表和外部表分别是什么？为什么要建外部表？
Hive内部表和外部表的区别
https://blog.csdn.net/wypersist/article/details/80314022
Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。
需要注意的是传统数据库对表数据验证是 schema on write（写时模式），而 Hive 在load时是不检查数据是否符合schema的，hive 遵循的是 schema on read（读时模式），只有在读的时候hive才检查、解析具体的数据字段、schema。
读时模式的优势是load data 非常迅速，因为它不需要读取数据进行解析，仅仅进行文件的复制或者移动。
写时模式的优势是提升了查询性能，因为预先解析之后可以对列建立索引，并压缩，但这样也会花费要多的加载时间。
被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；
区别：
内部表数据由Hive自身管理，外部表数据由HDFS管理；
内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；
删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除；
对内部表的修改会将修改直接同步给元数据，而对外部表的表结构和分区进行修改，则需要修复（MSCK REPAIR TABLE table_name;）
https://blog.csdn.net/wypersist/article/details/80314022
什么是数据倾斜
Hive 表类型有哪些
https://blog.csdn.net/dsl200970/article/details/70245916
Mapreduce和hive的区别和联系
http://www.360doc.com/content/14/1208/10/20466010_431234360.shtml
hive是基于hadoop的数据仓库。
那么为什么说hive是基于Hadoop的呢？
之所以说hive是构建在Hadoop之上的数据仓库，简单的说是因为：
①数据存储在hdfs上
②数据计算用mapreduce
Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；它可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去查询分析需要的内容，这套 SQL 简称 Hive SQL（HQL），使不熟悉MapReduce 的用户也能很方便地利用 SQL 语言对数据进行查询、汇总、分析。
Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在hadoop上运行，数据存储在HDFS上。
说出Hive 如何调优，提升效率
https://blog.csdn.net/WYpersist/article/details/80030499
https://blog.csdn.net/WYpersist/article/details/80030921
https://blog.csdn.net/WYpersist/article/details/80032327
说出Hive 数据清洗的过程
Hive 编程题
5、海量数据分布在100台电脑上，统计出这批数据的TOP10。（写出核心算法思路）
6、背景：现有商品，买家，卖家三个实体，实现一个小小型的交易系统
1）给出表结构设计
2）帅选出没有买过商品的用户
3）写出sql 语句，帅选出仅仅购买了面粉的用户
HIVE与RDBMS关系数据库的区别
1、hive存储的数据量比较大，适合海量数据，适合存储轨迹类历史数据，适合用来做离线分析、数据挖掘运算，
事务性较差，实时性较差
rdbms一般数据量相对来说不会太大，适合事务性计算，实时性较好，更加接近上层业务
2、hive的计算引擎是hadoop的mapreduce，存储是hadoop的hdfs文件系统，
rdbms的引擎由数据库自己设计实现例如mysql的innoDB，存储用的是数据库服务器本地的文件系统
3、hive由于基于hadoop所以存储和计算的扩展能力都很好，
rdbms在这方面比较弱，比如orcale的分表和扩容就很头疼
4、hive表格没有主键、没有索引、不支持对具体某一行的操作，适合对批量数据的操作，不支持对数据的update操作，
更新的话一般是先删除表然后重新落数据
rdbms事务性强，有主键、索引，支持对具体某一行的增删改查等操作
5、hive的SQL为HQL，与标准的RDBMS的SQL存在有不少的区别，相对来说功能有限
rdbms的SQL为标准SQL，功能较为强大。
Hive分析窗口函数
Hive 数据倾斜类
Hive 取前10条数据
https://blog.csdn.net/wypersist/article/details/80318305
Hive 取最小成绩的记录和最大的记录
Hive 四种排序
https://blog.csdn.net/wypersist/article/details/80314431
Hive 时间函数
Mysql 和hive的区别
Hive 的sql语句和mysql 的sql语句有什么不同
Mysql和derby
Hive 将元数据存储在 RDBMS 中，一般常用 MySQL 和 Derby。默认情况下，Hive 元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用， 为了支持多用户会话，则需要一个独立的元数据库，使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持。
内置的derby主要问题是并发性能很差，可以理解为单线程操作。
Derby还有一个特性。更换目录执行操作，会找不到相关表等
比如在/usr下执行创建表，在/usr下可以找到这个表。在/etc下执行查找这个表，就会找不到 。
Hive存储格式
https://blog.csdn.net/ly19901208/article/details/77049824
Hive 工作原理
https://blog.csdn.net/wypersist/article/details/80174647
A所有的hive任务都会有reducer的执行吗？
答：不是，由于当前hive的优化，使得一般简单的任务不会去用reducer任务；只有稍微复杂的任务才会有reducer任务
举例：使用select * from person ; 就不会有reducer
使用from person p
insert into person2 select p.age,p.name
B\hive解决了什么问题
答：多用户的使用，解决了元数据的冲突，hive2代理管理元数据
区别hive2，hiveserver2是服务，而hive是一个交互窗口
C\设置时钟同步的定时任务
crontab -e
*/10 * * * * /usr/sbin/ntpdate time.nist.gov
D\hive的函数：UDF UDAF UDTF的区别
UDF: 单行进入，单行输出
UDAF: 多行进入，单行输出
UDTF: 单行输入，多行输出
E\hive的优化
答：优化可以从几个方面着手：
1. 好的模型设计事半功倍。
2. 解决数据倾斜问题。
3. 减少 job 数。
4. 设置合理的 map reduce 的 task 数，能有效提升性能。(比如，10w+级别的计算，用
160 个 reduce，那是相当的浪费，1 个足够)。
5. 自己动手写 sql 解决数据倾斜问题是个不错的选择。set hive.groupby.skewindata=true;
这是通用的算法优化，但算法优化总是漠视业务，习惯性提供通用的解决方法。 Etl 开发
人员更了解业务，更了解数据，所以通过业务逻辑解决倾斜的方法往往更精确，更有效。
6. 对 count(distinct)采取漠视的方法，尤其数据大的时候很容易产生倾斜问题，不抱侥幸
心理。自己动手，丰衣足食。
7. 对小文件进行合并，是行至有效的提高调度效率的方法，假如我们的作业设置合理的文
件数，对云梯的整体调度效率也会产生积极的影响。
8. 优化时把握整体，单个作业最优不如整体最优。
F优化：
1\排序优化
Order by 实现全局排序，一个 reduce 实现，效率低
Sort by 实现部分有序，单个 reduce 输出的结果是有序的，效率高，通常和
DISTRIBUTE BY 关键字一起使用（DISTRIBUTE BY 关键字 可以指定 map 到 reduce
端的分发 key）
CLUSTER BY col1 等价于 DISTRIBUTE BY col1 SORT BY col1
2\分区优化
3\合并小文件
4\避免空值关联，多用聚合函数，多用临时表
原文地址：https://www.cnblogs.com/zmanzi/p/10856059.html