最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。
第一篇：HDFS的上传与下载：https://www.cnblogs.com/BlackString/p/10552553.html
第二篇：Hive中数据的导入与导出：https://www.cnblogs.com/BlackString/p/10552806.html
第四篇：跨平台传输方案：https://www.cnblogs.com/BlackString/p/10553010.html
Hive分区表数据的上传与导出
1. 前言
? 经过前两篇的练习，我们练习了文件的上传与下载，以及Hive外部表数据的上传与导出。但是很多时候Hive的数据操作不仅仅是外部表，还有可能是对分区表的操作。接下来，就对分区表的数据操作进行练习。
2. 分区表的文件结构
1）创建一个分区表，分区字段为country：
hive> create table tt01(id int, name string) partitioned by(country string);
2）插入几条新数据：
hive> insert into tt01 partition(country=‘CN‘) values(1,‘LS‘);
hive> insert into tt01 partition(country=‘CN‘) values(2,‘ZS‘);
hive> insert into tt01 partition(country=‘US‘) values(3,‘Alice‘);
hive> insert into tt01 partition(country=‘UK‘) values(4,‘Tom‘);
3）到hive中查看表中的数据：
hive> select from tt01;
1 LS CN
2 ZS CN
3 Alice US
4 Tom UK
4）到HDFS中查看test02.db中，tt01文件夹下的文件：
[root@DataCenter2 aos_dic]# hadoop fs -ls /user/hive/warehouse/test02.db/tt01
drwxrwxrwt - root hive 0 2019-03-15 10:50 /user/hive/warehouse/test02.db/tt01/country=CN
drwxrwxrwt - root hive 0 2019-03-15 10:46 /user/hive/warehouse/test02.db/tt01/country=UK
drwxrwxrwt - root hive 0 2019-03-15 10:45 /user/hive/warehouse/test02.db/tt01/country=US
会发现Hive按照分区将数据分别存入了不同的文件夹下。
进入某一个分区，查看其中的数据：
[root@DataCenter2 aos_dic]# hadoop fs -ls /user/hive/warehouse/test02.db/tt01/country=CN
-rwxrwxrwt 3 root hive 5 2019-03-15 10:43 /user/hive/warehouse/test02.db/tt01/country=CN/000000_0
-rwxrwxrwt 3 root hive 5 2019-03-15 10:45 /user/hive/warehouse/test02.db/tt01/country=CN/000000_0_copy_1
其中发现两个文件，查看其中的内容，会发现每个文件中都存了一条数据。那么，是每条数据都生成一个文件吗？
5）向tt01中插入一条新的数据，分区为“CN”：
hive> insert into tt01 partition(country=‘CN‘) values(5,‘WW‘);
到tt01文件夹下，country=CN中查看文件，会发现多出了一个新文件，查看这个新文件，发现其中存储的正是我们新插入的数据：
[root@DataCenter2 aos_dic]# hadoop fs -cat /user/hive/warehouse/test02.db/tt01/country=CN/000000_0_copy_2
5WW
3. 创建一个外部分区表
接下来，尝试在test02库中建立一个新的外部外部表，并且为其指定分区。
如何建立一个外部分区表呢？
最初的想法是，按照文件的格式新建一个表，然后指定分区的名称和文件的位置，这样建立的表应该是包含了我所有的数据的。但是在尝试了多次以后发现，Hive并不能自动识别已经建立好的分区。
经过查询得知，Hive分区表如果要载入外部分区数据，有两种方式：
1）手动指定分区并载入数据，如：
hive> alter table tt02 add partition (birth=‘1997‘) location ‘/hive> msck repair table tt02;
2）修复分区信息，如：
hive> msck repair table tt02;
Partitions not in metastore: tt02:birth=1998 tt02:birth=1999
Repair: Added partition to metastore tt02:birth=1998
Repair: Added partition to metastore tt02:birth=1999
但是以上两种方式并不包含直接建立表载入分区。
因此，建立一个外部分区表的步骤是：
1）按照文件数据的格式建立字段，并指定分区字段：
hive> create external table tt02(id int,name string,gender string) partitioned by (birth string) row format delimited fields terminated by ‘ ‘ location ‘/user/hive/warehouse/test02.db/tt02‘;
2）新增分区，或 修复分区：
hive> alter table tt02 add partition (birth=‘1997‘) location ‘/‘
hive> msck repair table tt02;
Partitions not in metastore: tt02:birth=1998 tt02:birth=1999
Repair: Added partition to metastore tt02:birth=1998
Repair: Added partition to metastore tt02:birth=1999
3）查看数据：
hive> select from tt02;
1 LS m 1997
2 ZQ m 1997
3 LG f 1997
4 ST f 1997
5 SD m 1997
…… ……
原文地址：https://www.cnblogs.com/BlackString/p/10552901.html