Hive带分区列的表更改列类型之坑

常见的一个场景是Hive里面一个带分区的表，原来是int类型的字段，后来发现数据超过了int的最大值，要改成bigint。或者是

bigint要改string或decimal。无论如何，对于带分区的表，要改列类型，有一个坑：

如果使用alter table t change column oldcol newcol bigint，即把int类型的oldcol改为bigint类型的newcol

这个时候，去读数据，应该还是NULL的。

这是因为每个分区Hive还会存一份元数据，于是两种解决方案：

一个是alter table t change column oldcol newcol bigint cascade

一个是alter table t change column oldcol newcol bigint, alter table t partition(...) change column oldcol newcol bigint

参考https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterColumn

时间： 2024-10-05 05:31:56

Hive带分区列的表更改列类型之坑的相关文章

Hive动态分区

Hive默认是静态分区,我们在插入数据的时候要手动设置分区,如果源数据量很大的时候,那么针对一个分区就要写一个insert,比如说,我们有很多日志数据,我们要按日期作为分区字段,在插入数据的时候我们不可能手动的去添加分区,那样太麻烦了.还好,Hive提供了动态分区,动态分区简化了我们插入数据时的繁琐操作. 使用动态分区的时候必须开启动态分区(动态分区默认是关闭的),语句如下: [java] view plain copy set hive.exec.hynamic.partition=true;

将二维数组输出到excel,显示带行头的表以及列能手动改变宽度

将二维数组输出到excel,例子在我的helpfunction里面简单的例子在这:http://www.blogjava.net/hezhi/articles/POI.html Poi包在这里下载:http://mvnrepository.com/artifact/org.apache.poi/poi/3.11-beta3 显示带行头的表以及列能手动改变宽度 http://erbo2008.iteye.com/blog/547182

使用sql更改表的列的数据类型和添加新列和约束

使用sql更改表的列的数据类型和添加新列和约束修改数据库表某一列或添加列 --增加一列 ALTER TABLE 表名 ADD 列名 VARCHAR(20) NULL --删除一列 ALTER TABLE 表名 drop COLUMN 列名 --修改一列 alter TABLE 表名 ALTER COLUMN 列名 VARCHAR(40) NULL --修改一列的类型 alter TABLE 表名 ALTER COLUMN 列名 VARCHAR(40)- -添加主键约束 alter table

Mysql增加主键或者更改表的列为主键的sql语句

最近在整理关于MySql的东西,把一些需要记录的东西写下来,以便以后查询和浏览,以下是一些操作技巧. 添加表字段 alter table table1 add transactor varchar(10) not Null; alter table table1 add id int unsigned not Null auto_increment primary key 修改某个表的字段类型及指定为空或非空 alter table 表名称 change 字段名称字段名称字段类型 [是否

关于带分区hive表添加字段如何避免插入的新字段数据为null

第一步:在hive元数据中的sds表找到字段增加后新分配的字段组ID(CD_ID,表的所有字段对应一个CD_ID字段值),如:SELECT * FROM sds WHERE location LIKE '%table_name%' 第二步:在SDS表中可以看到新分配的字段组值(CD_ID).已有分区所对应的旧字段组值ID(CD_ID),在该表中把旧的CD_ID值更新为新的CD_ID值即可,如:UPDATE SDS SET CD_ID=NEW_CD_ID(所找到的新值) WHERE CD_ID=O

【ODPS】阿里云ODPS中带分区的表操作

1.创建分区表: 分区表有自己的分区列,而分区表则没有. public static void createTableWithPartition(Odps odps, String createTableName) throws Exception { Tables tables = odps.tables();// /获取表示ODPS全部Table的集合对象 boolean a = tables.exists(createTableName);// 推断指定表test_table_jyl是否存

数据表的列类型

列类型文本类型 enum(枚举类型) 语法: enum(值列表); 说明: 值是使用逗号分隔多个值值列表中的值的个数最多是65535个作用是规范数据,节省空间. 类比于form表单中的单选按钮示例: 示例: 原理: ???? set集合类型语法: ????set(值列表); 说明: 值是使用逗号分隔多个值值列表中的值的个数最多是64个作用是规范数据,节省空间. 类比于form表单中的多选按钮字段的数据型是一个字符串,相当于将值列表中的多个值拼接成一个字符串,值的顺序可以是任意示

SQL Server 动态行转列（参数化表名、分组列、行转列字段、字段

一.本文所涉及的内容(Contents) 本文所涉及的内容(Contents) 背景(Contexts) 实现代码(SQL Codes) 方法一:使用拼接SQL,静态列字段: 方法二:使用拼接SQL,动态列字段: 方法三:使用PIVOT关系运算符,静态列字段: 方法四:使用PIVOT关系运算符,动态列字段: 扩展阅读一:参数化表名.分组列.行转列字段.字段值: 扩展阅读二:在前面的基础上加入条件过滤: 参考文献(References) 二.背景(Contexts) 其实行转列并不是一个什么新鲜的

(转)数据库表分割技术浅析(水平分割/垂直分割/库表散列)

数据库表分割技术包含以下内容:水平分割/垂直分割/库表散列.接下来将对以上分割进行详细介绍,感兴趣的朋友可以了解下,对你日后维护数据库是很有帮助的一．水平分割什么是水平分割?打个比较形象的比喻,在食堂吃饭的时候,只有一个窗口,排队打饭的队伍太长了,都排成S型了,这时容易让排队的人产生焦虑情绪,容易产生混乱,这时一个管理者站出来,增加多个打饭窗口,把那条长长的队伍拦腰截断成几队.更形象一点的理解,你拿一把“手术刀”,把一个大表猛的切了几刀,结果这个大表,变成了几个小表. 水平分割根据某些条件将