数据导出到csv

3、mysql -h jconnjkgiw4vh.mysql.rds.aliyuncs.com -u jusr27zkky8u -pl9cMqv0Rjdi base_ccms_ygaor -sNe "select date(created),order_num,response_num,(response_num/order_num) as lv,send_num,response_amount,(response_amount/(send_num*0.05)) from tb_tc_urpay_summary where dp_id=‘106975856‘ and urpay_type=1 and created>‘2016-09-01‘ and created<‘2017-01-01‘ order by created;" | tr ‘\t‘ ‘,‘ > 220-1.csv

由于要把数据导出成csv格式,所以无需进入数据库执行sql语句,

参数信息

-N, --skip-column-names //不显示列信息

-s, --silent //一行一行输出,中间有tab分隔

-e, --execute=name //执行mysql的sql语句

| tr ‘\t‘ ‘,‘  把tab键替换成逗号

4、如果客户需要mac版的数据,则执行转换命令

iconv  -f    utf-8   -t   gbk   原文件   -o  目标文件

所有客户数据导出

1、拷贝客户数据批量导出脚本,位置在运维工具机10.153.195.201的home/kun.cao/下。

2、导出所有客户名单到user.list内。

psql -h 10.153.205.167 -U u_cmdb shuyun_cmdb -Atc "select domain from view_api_ccmsuser where set_id = ‘0-PD‘" > user.list

3、执行导出脚本yw1196.py,脚本在运维工具机10.153.195.201的home/kun.cao/下

myConn.select_db(ui[‘db_name‘])    标准版db_name   基础版base_db_name
myCour = myConn.cursor()
myCour.execute(‘‘‘select count(1) from report_detail_list_sms;‘‘‘)   具体执行sql语句select count(1) from report_detail_list_sms 
result = myCour.fetchall()
with open( "data/{0}".format(domain), "w" ) as F:   data/数据导出存储位置
for i in result:
F.writelines("{0},{1}\n".format(domain,i[0]))   只导出report_detail_list_sms表内0与1列的数据

if __name__ == "__main__":
with open( "user.list", "r" ) as R:   脚本根据user.list内的客户域名列表来查询

4、进入data目录执行cat /data/* |tr ‘,‘ ‘ ‘ |sort -k 2 -n -r |head -n 100   此语句意思为查看data目录下所有文件内容,并把逗号去掉,然后对里面的数据进行大小数字排序,同时只显示前100行数据。

时间: 2024-10-09 21:15:03

数据导出到csv的相关文章

hive表数据导出到csv乱码原因及解决方案

转载自http://blog.csdn.net/lgdlxc/article/details/42126225 Hive表中的数据使用hive - e"select * from table">aa.csv导出到csv文件的时候在window中用Excel打开查看的时候是乱码,而且格式也不对. 原因有下面两个: 1.乱码的原因是用excel打开csv时格式默认为gbk,但是从hive中导出来的是utf8的 2.格式不对的原因是csv文件的列分隔符是逗号或者\t,而hive中默认使

es实战之数据导出成csv文件

从es将数据导出分两步: 查询大量数据 将数据生成文件并下载 本篇主要是将第二步,第一步在<es实战之查询大量数据>中已讲述. csv vs excel excel2003不能超过65536, excel2007及以上版本支持1048576条数据.excel支持的数据量有限,并且生生成文件的速度比较慢. csv具有支持写入量大,文件较小的优点. 故选择csv作为导出文件类型. 导出文件的几种方式: 将数据从es中查询出来,在这个大前提下,对比导出文件的速度. 由前端处理 直接将数据返回给前端,

【MySQL】数据导出成CSV格式

一.自动输出中文字符集 select * from db into outfile 'test.csv' CHARACTER SET gbk fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n'; 二.导出后转换字符集 转换成CSV文件,如果乱码将CSV已记事本打开另存为UTF8 select * from db into outfile 'test.c

Python脚本---把MySQL数据库表中的数据导出生成csv格式文件

转载请注明出处:http://blog.csdn.net/guoyjoe/article/details/45841221 #!/usr/bin/env python # -*- coding:utf-8 -*- """  Purpose: 生成日汇总对账文件  Created: 2015/4/27  Modified:2015/5/1  @author: guoyJoe""" #导入模块import MySQLdbimport timeimpo

MongoDB数据导出成CSV

# articles mongoexport -d mean-npbao -c articles --type=csv -f _id,type,title,author,brief,html,content,urls,client,created -o /root/hmg/articles.csv mongoexport -d mean-npbao -c articles --type=csv -f _id,type -o /root/hmg/articles/type.csv mongoexp

R: 导入 csv 文件,导出到csv文件,;绘图后导出为图片、pdf等

################################################### 问题:导入 csv 文件 如何从csv文件中导入数据,?参数怎么设置?常用参数模板是啥? 解决方案: yuan <- read.csv(file = "C:/Users/Administrator/Desktop/test1.csv",header = TRUE,sep = ",",dec = ".", stringsAsFactors

tablib把数据导出为Excel、JSON、CSV等格式的Py库(写入数据并导出exl)

#tablib把数据导出为Excel.JSON.CSV等格式的Py库 #python 3 import tablib #定义列标题 headers = ('1列', '2列', '3列', '4列', '5列') #需写入的数据,按照一行一行的输入 #元组数据的个数必须和列数一致 data = [('23','23','34','23','34'),('sadf','23','sdf','23','fsad')] #写入数据 mylist = tablib.Dataset(*data, head

[moka同学摘录]Yii2 csv数据导出扩展

yii2-thecsv(Yii2框架csv数据导出扩展) github: https://github.com/13552277443/yii2-thecsv 1.安装 运行 php composer.phar require m35/thecsv 或 添加 "m35/thecsv": "*" 2.使用 <?php use m35\thecsv\theCsv; theCsv::export('tableName'); // return true if suc

大量数据导出excel(csv)的实现

<?php /** * 大量数据导出excel(csv)的实现. * Created by PhpStorm. * User: Huming * Date: 2017-04-16 * Time: 14:04 * */ //使用MS sqlserver数据测试的 require_once 'MSSqlServerHelper.php'; $sqlHelper = new MSSqlServerHelper(); set_time_limit(0); ini_set('memory_limit',