hive导出查询文件到本地文件的2种办法

通过HQL语句

可以将hive  中表的数据生成到指定的目录。

有时候 我们可以利用hive来生成统计的中间文件(比源文件小的多的)

方法有如下2种:

1.INSERT OVERWRITE LOCAL DIRECTORY

将结果输出到指定的目录:

生成的文件数 和redurcer的数目的一样的

在hive下面执行

INSERT OVERWRITE LOCAL DIRECTORY ‘/hive_dat/package_name‘

select package_name,count(1) from app_list group by package_name;

2.直接查询生成结果文件:

在linux下面执行:(也支持后台运行 如果执行时间比较长的话)

hive -S -e"select package_name,count(1) from app_list group by package_name;"> grp_app_id.dat

这个只生成一个文件 并且输出的文件里面的列 是以空格隔开的。

时间: 2024-12-07 03:52:53

hive导出查询文件到本地文件的2种办法的相关文章

微信企业号上传媒体文件之本地文件上传

微信企业号上传媒体文件之本地文件上传 企业在使用接口时,对多媒体文件.多媒体消息的获取和调用等操作,是通过media_id来进行的. 通过接口https://qyapi.weixin.qq.com/cgi-bin/media/upload?access_token=ACCESS_TOKEN&type=TYPE,企业可以上传多媒体文件. 注意,每个多媒体文件(media_id)会在上传到微信服务器3天后自动删除,以节省服务器资源. 通常文件上传是通过html表单进行的,通过HttpURLConne

HDFS文件与本地文件的交互操作

1.在HDFS中创建一个新的文件夹,用于保存weblog_entries.txt hadoop fs -mkdir /data/weblogs 2.将weblog_entries.txt文件从本地文件系统复制到HDFS刚创建的新文件夹下 cd /home/data hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs 3.列出HDFS上weblog_entries.txt文件的信息: hadoop fs –ls /data/weblo

chrome浏览器调试线上文件映射本地文件

通过ReRes让chrome拥有路径映射的autoResponse功能. 前端开发过程中,经常会有需要对远程环境调试的需求.比如,修改线上bug,开发环境不在本地等等.我们需要把远程css文件或者js映射到本地的文件上,通过修改本地文件进行调试和开发.通常我们可以通过以下方法来实现映射: 1.修改host文件——只能把域名映射到IP 2.使用Apache或者nginx搭建反向代理——需要装环境,配置相对繁琐 3.使用Fiddler中的AutoRespnose功能——不支持目录映射,mac.lin

导出查询结果到csv文件

set colsep , set feedback off set heading off set trimout on spool my.csv select * from emp; spool off

Jquery的load加载本地文件出现跨域错误的解决方案

如果用原生的AJAX是加载本地文件就不会出现错误.当然,这个jquery的load放在服务器上通过http加载还是支持的.也有例外比如在firefox和ie浏览器使用$.ajax加载本地html或txt文件时,不会报错. 当其他浏览器控制台弹出下面报错,表明这个不支持跨域浏览本地文件: Access to XMLHttpRequest at 'file:///F:/%E4%BB%A3%E7%A0%81/Jquery/a.txt' from origin 'null' has been block

PHP下载远程文件及获取文件内容

/**      * 获取远程文件的内容      * @parma $url  URL      * @return 获得内容      * **/     public static function getContent($url){ $flag = 0; do { $hCurl = curl_init(); curl_setopt($hCurl, CURLOPT_HEADER, 0); curl_setopt($hCurl, CURLOPT_RETURNTRANSFER, 1); cur

Hive中将查询结果导出到指定分隔符的文件中

在Hive0.11.0版本中新引进了一个新的特性,当用户将Hive查询结果输出到文件中时,用户可以指定列的分割符,而在之前的版本是不能指定列之间的分隔符. 在Hive0.11.0之前版本如下使用,无法指定分隔符,默认为\x01: hive (hive)> insertoverwrite local directory '/home/hadoop/export_hive' select * from a; Query ID =hadoop_20150627174342_64852f3a-56ed-

hive导出数据到本地文件报错解决方法

hive导出到本地数据报错 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://localhost:9000/tmp/hive/daisy/185ccfc8-52f0-48e4-acd2-866340445241/hive_2020-01-21_11-00-58_110_6359830348207520702-1/-mr-10000 to

Oracle数据泵远程导入文件到本地数据库

--以dba身份登录 C:\Users\Administrator>sqlplus / as sysdba --创建用户 SQL> create user bfzg0828 identified by bfzg0828 default tablespace users quota unlimited on users; --授予连接角色,资源角色给用户 SQL> grant connect,resource to bfzg0828; 授权成功. --授权创建数据链接 SQL> gr