Hive从0.14版本开始支持事务和行级更新,但缺省是不支持的,需要一些附加的配置。要想支持行级insert、update、delete,需要配置Hive支持事务。(行级的insert好像不配置也能运行)
1、修改hive-site.xml,添加如下语句:
<property> <name>hive.support.concurrency</name> <value>true</value> </property> <property> <name>hive.exec.dynamic.partition.mode</name> <value>nonstrict</value> </property> <property> <name>hive.txn.manager</name> <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value> </property> <property> <name>hive.compactor.initiator.on</name> <value>true</value> </property> <property> <name>hive.compactor.worker.threads</name> <value>1</value> </property>
2、修改hive-site.xml 后,执行更新语句,报错 FAILED: Error in acquiring locks: Error communicating with the metastore
网上查找,说要添加Hive元数据
INSERT INTO NEXT_LOCK_ID VALUES(1); INSERT INTO NEXT_COMPACTION_QUEUE_ID VALUES(1); INSERT INTO NEXT_TXN_ID VALUES(1); COMMIT;
但是mysql中以上三个表根本不存在。傻傻的手动在mysql建了这三个表,列名都取为id。还是报错。看来只能从源头查找为什么hive自己没有建立这几个表。
3、在mysql服务器上用wireshark抓包 ,发现是在执行sql语句时出的错误。再看出错时对应的sql语句,是在操作HIVE_LOCKS表,显示这个表也未创建。所以没有建立的表不止上面三个。
4、hive相关的表(schema)都应该是不存在时自动创建才对,百度之。找到hive创建schema的脚本是scripts/metastore/upgrade/mysql/hive-schema-2.1.0.mysql.sql。
但是这个脚本文件中并没有找到HIVE_LOCKS表的创建语句,在该目录下grep HIVE_LOCKS ./ -R,发现创建的语句写在hive-txn-schema-2.1.0.mysql.sql。
5、查看hive-schema-2.1.0.mysql.sql文件,发现是通过"SOURCE hive-txn-schema-2.1.0.mysql.sq"来加入执行的。网查说是hive元数据库没有初始化。可以通过
schematool -dbType mysql -initSchema
来初始化所有schema,执行以上语句后,有报错,表还是没创建。于是手动执行
hive -f hive-txn-schema-2.1.0.mysql.sql
相应的表创建成功之后,再测试就可以了。(将hive-site.xml中的元数据库换了一个,重新新建了一个mysql元数据库,在执行 schematool -dbType mysql -initSchema 时竟然没有报错,那些表也都有了)
现在遗留的问题:
1. hive-schema-2.1.0.mysql.sql中SOURCE为什么没生效?
网上说是没有绝对路径当然找不到无法执行(如果试图手动改成绝对路径重新执行的话,因为其他的sql语句里有一些insert,就会报一些Duplicate key name,Duplicate entry等错误...而且txn那个文件里建表不检查是否exists,多执行几遍又会报表已经存在错误..
使用schemetool就可以避免这些麻烦,而且很明确的知道是否初始化成功.)...。
可是配置里不带绝对路径肯定是通常情况都可以执行的啊
2. 执行hive -f hive-txn-schema-2.1.0.mysql.sql时,为什么表就建立在mysql中了,而不是hive本地文件系统 。
3、 schematool -dbType mysql -initSchema 这个到底干了嘛?
网查资料:http://www.bubuko.com/infodetail-1834078.html
http://blog.csdn.net/wzy0623/article/details/51483674
http://blog.csdn.net/zxc2zxc120/article/details/40543589