SHELL里执行HIVE导出文件处理成CSV文件

#!/bin/bash
#用途:
#1.当前目录的txt文件批量转csv
#2.制表符转逗号分隔符
#3.NULL去除
#4.删除WARN警告
for i in `ls ./*.txt`
    do
      sed -e ‘s/\t/,/g‘ -e ‘s/NULL//g‘ -e ‘/^WARN:/d‘ $i >$i.csv
    done

原文地址：https://www.cnblogs.com/junstudys/p/9420545.html

时间： 2024-10-15 06:21:05

SHELL里执行HIVE导出文件处理成CSV文件的相关文章

Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序

#!/bin/bash source /etc/profile; ################################################## # Author: ouyangyewei # # # # Content: Combineorder Algorithm # ################################################## # change workspace to here cd / cd /home/deploy/rec

将DataTable转换成CSV文件

DataTable用于在.net项目中,用于缓存数据,DataTable表示内存中数据的一个表.CSV文件最早用在简单的数据库里,由于其格式简单,并具备很强的开放性,所以起初被扫图家用作自己图集的标记.CSV文件是个纯文本文件,每一行表示一张图片的许多属性. 在.net项目中运用C#将DataTable转化为CSV文件,现在提供一个较为通用的方法,具体代码如下: /// <summary> /// 将DataTable转换成CSV文件 /// &

PHP Apache Access Log 分析工具拆分字段成CSV文件并插入Mysql数据库分析

现在需要分析访问日志,怎么办? 比如分析D:\Servers\Apache2.2\logs\access2014-05-22.log http://my.oschina.net/cart/针对这个问题特意开发了一款小工具分析Apache 日志,拆分字段成CSV文件并插入Mysql数据库分析 <?php $date = '2014-05-22'; file_put_contents($date.'.csv', ''); file_put_contents($date.'.csv', '"IP

用Java将Excel的xls和xlsx文件转换成csv文件的方法, XLS2CSV, XLSX2CSV

利用poi将excel文件后缀为.xls .xlsx的文件转换成txt/csv文本文件首先,引入所需的jar包: <dependencies> 2 <dependency> 3 <groupId>net.sf.opencsv</groupId> 4 <artifactId>opencsv</artifactId> 5 <version>2.1</version> 6 </dependency> 7

es实战之数据导出成csv文件

从es将数据导出分两步: 查询大量数据将数据生成文件并下载本篇主要是将第二步,第一步在<es实战之查询大量数据>中已讲述. csv vs excel excel2003不能超过65536, excel2007及以上版本支持1048576条数据.excel支持的数据量有限,并且生生成文件的速度比较慢. csv具有支持写入量大,文件较小的优点. 故选择csv作为导出文件类型. 导出文件的几种方式: 将数据从es中查询出来,在这个大前提下,对比导出文件的速度. 由前端处理直接将数据返回给前端,

Powershell Mail module, 发送outbox 里的全部邮件（一个.csv文件代表一封邮件）

把creating mail代码写到调用处,往outbox写入 mailxxx.csv文件,入面记录了邮件的主要内容写入 #template $TMP = IMPORT-CSV "$($dh)\mail\TEMPLATES\MAIL.CSV" #customization $TMP.CC ="" # $TMP.Subject ="From Server $($( get-wmiobject Win32_ComputerSystem ).Name) By

Powershell Mail module, 发送outbox 里的所有邮件（一个.csv文件代表一封邮件）

网页端，JSON导成CSV文件

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script src="public/javascript/jquery-1.11.3.min.js"></script> </head> <body> <

python将文件写成csv文件保存到本地

举个例子: import csv import os path='/tmp/' file='test.csv' def generate_csv(path,file): if not os.path.exists(path): os.mkdir(path) files=os.path.join(path,file) # os.system('touch %s' %files) with open(files,'w') as f: writer=csv.writer(f) writer.write