Hive支持行级update、delete时遇到的问题

Hive从0.14版本开始支持事务和行级更新,但缺省是不支持的,需要一些附加的配置。要想支持行级insert、update、delete,需要配置Hive支持事务。(行级的insert好像不配置也能运行)

1、修改hive-site.xml,添加如下语句:

<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<property>
<name>hive.exec.dynamic.partition.mode</name>
<value>nonstrict</value>
</property>
<property>
<name>hive.txn.manager</name>
<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
<name>hive.compactor.initiator.on</name>
<value>true</value>
</property>
<property>
<name>hive.compactor.worker.threads</name>
<value>1</value>
</property> 

2、修改hive-site.xml 后,执行更新语句,报错     FAILED: Error in acquiring locks: Error communicating with the metastore

网上查找,说要添加Hive元数据

INSERT INTO NEXT_LOCK_ID VALUES(1);
INSERT INTO NEXT_COMPACTION_QUEUE_ID VALUES(1);
INSERT INTO NEXT_TXN_ID VALUES(1);
COMMIT;  

但是mysql中以上三个表根本不存在。傻傻的手动在mysql建了这三个表,列名都取为id。还是报错。看来只能从源头查找为什么hive自己没有建立这几个表。

3、在mysql服务器上用wireshark抓包 ,发现是在执行sql语句时出的错误。再看出错时对应的sql语句,是在操作HIVE_LOCKS表,显示这个表也未创建。所以没有建立的表不止上面三个。

4、hive相关的表(schema)都应该是不存在时自动创建才对,百度之。找到hive创建schema的脚本是scripts/metastore/upgrade/mysql/hive-schema-2.1.0.mysql.sql。
但是这个脚本文件中并没有找到HIVE_LOCKS表的创建语句,在该目录下grep HIVE_LOCKS  ./  -R,发现创建的语句写在hive-txn-schema-2.1.0.mysql.sql。

5、查看hive-schema-2.1.0.mysql.sql文件,发现是通过"SOURCE hive-txn-schema-2.1.0.mysql.sq"来加入执行的。网查说是hive元数据库没有初始化。可以通过

schematool -dbType mysql -initSchema

来初始化所有schema,执行以上语句后,有报错,表还是没创建。于是手动执行

hive -f hive-txn-schema-2.1.0.mysql.sql

相应的表创建成功之后,再测试就可以了。(将hive-site.xml中的元数据库换了一个,重新新建了一个mysql元数据库,在执行 schematool -dbType mysql -initSchema 时竟然没有报错,那些表也都有了)

现在遗留的问题:
1. hive-schema-2.1.0.mysql.sql中SOURCE为什么没生效?

网上说是没有绝对路径当然找不到无法执行(如果试图手动改成绝对路径重新执行的话,因为其他的sql语句里有一些insert,就会报一些Duplicate key name,Duplicate entry等错误...而且txn那个文件里建表不检查是否exists,多执行几遍又会报表已经存在错误..

使用schemetool就可以避免这些麻烦,而且很明确的知道是否初始化成功.)...。

可是配置里不带绝对路径肯定是通常情况都可以执行的啊

2. 执行hive -f hive-txn-schema-2.1.0.mysql.sql时,为什么表就建立在mysql中了,而不是hive本地文件系统 。

3、 schematool -dbType mysql -initSchema  这个到底干了嘛?

网查资料:http://www.bubuko.com/infodetail-1834078.html

http://blog.csdn.net/wzy0623/article/details/51483674

http://blog.csdn.net/zxc2zxc120/article/details/40543589

时间: 2024-10-13 22:46:59

Hive支持行级update、delete时遇到的问题的相关文章

[数据库事务与锁]详解五: MySQL中的行级锁,表级锁,页级锁

注明: 本文转载自http://www.hollischuang.com/archives/914 在计算机科学中,锁是在执行多线程时用于强行限制资源访问的同步机制,即用于在并发控制中保证对互斥要求的满足. 在数据库的锁机制中介绍过,在DBMS中,可以按照锁的粒度把数据库锁分为行级锁(INNODB引擎).表级锁(MYISAM引擎)和页级锁(BDB引擎 ). 行级锁 行级锁是Mysql中锁定粒度最细的一种锁,表示只针对当前操作的行进行加锁.行级锁能大大减少数据库操作的冲突.其加锁粒度最小,但加锁的

MySQL行级锁、表级锁、页级锁详细介绍

原文链接:http://www.jb51.net/article/50047.htm 页级:引擎 BDB.表级:引擎 MyISAM , 理解为锁住整个表,可以同时读,写不行行级:引擎 INNODB , 单独的一行记录加锁 表级,直接锁定整张表,在你锁定期间,其它进程无法对该表进行写操作.如果你是写锁,则其它进程则读也不允许行级,,仅对指定的记录进行加锁,这样其它进程还是可以对同一个表中的其它记录进行操作.页级,表级锁速度快,但冲突多,行级冲突少,但速度慢.所以取了折衷的页级,一次锁定相邻的一组记

MySQL行级锁,表级锁,页级锁详解

页级:引擎 BDB. 表级:引擎 MyISAM , 理解为锁住整个表,可以同时读,写不行 行级:引擎 INNODB , 单独的一行记录加锁 表级,直接锁定整张表,在你锁定期间,其它进程无法对该表进行写操作.如果你是写锁,则其它进程则读也不允许 行级,,仅对指定的记录进行加锁,这样其它进程还是可以对同一个表中的其它记录进行操作. 页级,表级锁速度快,但冲突多,行级冲突少,但速度慢.所以取了折衷的页级,一次锁定相邻的一组记录. MySQL 5.1支持对MyISAM和MEMORY表进行表级锁定,对BD

MySQL学习笔记(五):MySQL表级锁和行级锁

一:概述 相对其他数据库而言,MySQL的锁机制比较简单,其最显著的特点是不同的存储引擎支持不同的锁机制.比如,MyISAM和MEMORY存储引擎采用的是表级锁(table-level locking):InnoDB存储引擎既支持行级锁( row-level locking),也支持表级锁,但默认情况下是采用行级锁. MySQL主要的两种锁的特性可大致归纳如下:? 表级锁: 开销小,加锁快:不会出现死锁(因为MyISAM会一次性获得SQL所需的全部锁):锁定粒度大,发生锁冲突的概率最高,并发度最

【转】MySQL中的行级锁,表级锁,页级锁

在计算机科学中,锁是在执行多线程时用于强行限制资源访问的同步机制,即用于在并发控制中保证对互斥要求的满足. 在数据库的锁机制中介绍过,在DBMS中,可以按照锁的粒度把数据库锁分为行级锁(INNODB引擎).表级锁(MYISAM引擎)和页级锁(BDB引擎 ). 行级锁 行级锁是Mysql中锁定粒度最细的一种锁,表示只针对当前操作的行进行加锁.行级锁能大大减少数据库操作的冲突.其加锁粒度最小,但加锁的开销也最大.行级锁分为共享锁 和 排他锁. 特点 开销大,加锁慢:会出现死锁:锁定粒度最小,发生锁冲

mysql基础--锁机制,表级锁,行级锁

一.表级锁 1.读锁,lock table t_student read;添加了读锁,使得其他sessionA和sessionB都不能修改数据,仅仅可以读数据. show processlist;查看进程,修改的时候状态是在等待表级锁,已经等待了8s 在解锁unlock tables;之后,修改数据的sql也执行成功,如下图所示 2.写锁,当某一个进程在对某一张表实施写锁后,在该进程如果完成了更新(写.insert.update.delete)之后,如果不释放写锁,其他的进程连查看这张表的权限都

MySQL锁的用法之行级锁

行级锁是MySQL中粒度最小的一种锁,他能大大减少数据库操作的冲突.但是粒度越小,实现的成本也越高.MYISAM引擎只支持表级锁,而INNODB引擎能够支持行级锁,下面的内容也是针对INNODB行级锁展开的. INNODB的行级锁有共享锁(S LOCK)和排他锁(X LOCK)两种.共享锁允许事物读一行记录,不允许任何线程对该行记录进行修改.排他锁允许当前事物删除或更新一行记录,其他线程不能操作该记录.   共享锁:    用法: SELECT ... LOCK IN SHARE MODE; M

锁定数据行 for update和for update nowait

锁定数据行 select * from emp t where t.deptno='20' for update nowait; 这样就锁定了emp表中deptno = 20的那行数据 注意:通过for update锁定后,这些行不能修改了,但是还可以查询 for update和for update nowait 使用for update锁定行,对这行执行update,delete,select .. for update语句都会阻塞,即等待锁的释放后继续执行 使用for update nowa

[MySQL] 行级锁SELECT ... LOCK IN SHARE MODE 和 SELECT ... FOR UPDATE

一.译文 翻译来自官方文档:Locking Reads If you query data and then insert or update related data within the same transaction, the regular SELECT statement does not give enough protection. Other transactions can update or delete the same rows you just queried. In