hive加载的数据为通过flume-ng收集的数据,然后直接将其sink指定为hdfs,在指定hdfs sink的前缀时获取header中的host内容,而前一个源根本没有将host传递过来,所以导致存入hdfs中的数据文件文件名为以点开头,如下:
接下来在hive中创建一个外部表(内部表也一样),导入数据时指定映射到上图的文件夹时如:alter table tablname add partition (dt=‘date‘) location ‘/flume/date‘;则在此文件夹下如果存在以点开头的文件,则映射完后查询该表数据时看不到任何内容,当将该文件改名为不以点号开头时则显示前面映射的内容:
应该是类似linux下以点号靠头的文件名文件为隐藏文件导致的。
时间: 2024-10-05 04:58:23