有时候,某些非常规的操作会导致将要建立数据库/表与保存在metastore里的数据库/表的信息发生冲突,导致无法建立相应的数据库/表。举个例子:如果没有使用常规的drop database/table去删除一个数据库或是表,而是直接在hdfs上删除了相应的文件夹或文件,比如:/user/hive/warehouse/xxxxx.db,然后当你重新试图使用建库脚本建库时,有可能会报出:
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.thrift.TApplicationException: Internal error processing get_partition_names
(备注:为了完整而干净的删除一个数据库,我们可以选择在使用cascade关键字来drop一个database,例如:drop database if exists your-database cascade;)
当然,这里是报出的partition的信息混乱了,也有可能其他元数据出了问题,我们这里只以这个错误信息为例来说明一下解决方法:
是的,原因就像上面提到的,你将要建立的库和metastore中保存的库的元数据冲突了,这时候,我们只能手动删除metastore中的相关数据了!连接到metastore使用的数据库(这里假定是mysql),这个错误是与partition有关的,所以我们要清除partition表里的相关信息,如果我们只有一个库,我们可以简单且粗暴的清空这几个表:
truncate table PARTITION_KEY_VALS; truncate table PARTITION_PARAMS; truncate table PARTITIONS;
如果你有多个库,那你需要使用delete table .... where ... 来有选择的删除指定库里的表的partition信息了。
时间: 2024-11-03 21:41:44