tdh inceptor orc表和hdfs上表目录内文件的关系

create table user1 (name string,age int ,sex string) stored as orc;
insert into user1 select ‘u1‘,1,‘nan‘ from system.dual;select * from user1;

dfs -rm /inceptorsql1/user/hive/warehouse/default.db/hive/user1/000000_0;
select * from user1;
insert into user1 select ‘u1‘,1,‘nan‘ from system.dual;

随后用dfs命令查看user1的表目录。可见有000000_0文件。删除后表中无数据。重新填充数据准备后续实验。

create table user1_0 (name string,age int ,sex string) stored as orc;

创建了user1_0和user1有相同的列定义,都存成orc格式。

load data inpath ‘/inceptorsql1/user/hive/warehouse/default.db/hive/user1/‘ into table user1_0;
select * from user1_0;

将user1表目录中的文件copy到user1_0表。则user1_0表也有了数据。由此了解orc表和表目录下文件的关系。

时间: 2024-10-24 10:19:49

tdh inceptor orc表和hdfs上表目录内文件的关系的相关文章

数据库操作:编辑表向线上表更新

需求:表edit需要将数据更新到表release,里边会涉及增删改操作,如何做比较好??? 1.edit表是最新的数据,release表是线上表. 2.会有不同的容器调用release表,也就是需要解决容器之间的锁的问题,其他容器只有读操作,正在操控的容器有读写操作,因为更新操作无法做到原子,所以在操作之间可能会遇到其他容器查询为空或读了一半等出错的状态 a.   在另外一张表version里,打上到底使用哪张表.   即读取数据的时候是在两个表之间来回跳跃的 以下操作在我们做update的容器

利用socket模拟http的混合表单上传(在一个请求中提交表单并上传多个文件)

在很多企业级应用中,我们都没法直接通过开发语言sdk包封装的http工具来模拟http复合表单(multipart/form-data),特别是在跨语言跨平台的编程过程中,其实实现方案并不复杂,只要你了解了http协议中复合表单的报文结构就很简单了: httpheader ------时间戳------ 表单参数1 ------时间戳------ 表单参数2 ------时间戳------ 文件1的描述+二进制信息 ------时间戳------ 文件2的描述+二进制信息 下面我们进一步以一段c

HBase 在HDFS 上的目录树

总所周知,HBase 是天生就是架设在 HDFS 上,在这个分布式文件系统中,HBase 是怎么去构建自己的目录树的呢? 这里只介绍系统级别的目录树. 一.0.94-cdh4.2.1版本 系统级别的一级目录如下,用户自定义的均在这个/hbase 下的一级子目录下 /hbase/-ROOT- /hbase/.META. /hbase/.archive /hbase/.corrupt /hbase/.hbck /hbase/.logs /hbase/.oldlogs /hbase/.snapshot

HBase在HDFS上的目录树

众所周知,HBase 是天生就是架设在 HDFS 上,在这个分布式文件系统中,HBase 是怎么去构建自己的目录树的呢? 这里只介绍系统级别的目录树: 一.0.94-cdh4.2.1版本 系统级别的一级目录如下,用户自定义的均在这个/hbase 下的一级子目录下 /hbase/-ROOT- /hbase/.META. /hbase/.archive /hbase/.corrupt /hbase/.hbck /hbase/.logs /hbase/.oldlogs /hbase/.snapshot

HBase在HDFS上的目录介绍

总所周知,HBase 是天生就是架设在 HDFS 上,在这个分布式文件系统中,HBase 是怎么去构建自己的目录树的呢? 第一,介绍系统级别的目录树. 一.0.94-cdh4.2.1版本 系统级别的一级目录如下,用户自定义的均在这个/hbase 下的一级子目录下 /hbase/-ROOT- /hbase/.META. /hbase/.archive /hbase/.corrupt /hbase/.hbck /hbase/.logs /hbase/.oldlogs /hbase/.snapshot

hadoop 将HDFS上多个小文件合并到SequenceFile里

背景:hdfs上的文件最好和hdfs的块大小的N倍.如果文件太小,浪费namnode的元数据存储空间以及内存,如果文件分块不合理也会影响mapreduce中map的效率. 本例中将小文件的文件名作为key,其内容作为value生成SequenceFile 1.生成文件 //将目标目录的所有文件以文件名为key,内容为value放入SequenceFile中 //第一个参数是需要打包的目录,第二个参数生成的文件路径和名称 private static void combineToSequenceF

使用jcifs.smb.SmbFile读取Windows上共享目录的文件

protected void processRequest(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { OutputStream stream = null; BufferedInputStream buf = null; try { stream = response.getOutputStream(); response.setContentT

php 打包下载服务器上指定目录的文件

参考代码如下: //获取文件列表 function list_dir($dir){ $result = array(); if (is_dir($dir)){ $file_dir = scandir($dir); foreach($file_dir as $file){ if ($file == '.' || $file == '..'){ continue; } elseif (is_dir($dir.$file)){ $result = array_merge($result, list_d

Drupal创建自定义表单,上传文件代码

Drupal中创建自定义表单,用来上传文件,对上传文件做一些操作.以下是放在Module中的代码: 一.菜单建立表单路径 /** Implementation of hook_menu(). */ function moduleName_menu () { $items = array(); $items['admin/import'] = array( 'title' => 'title', 'page callback' => 'drupal_get_form', 'page argume