Pandas dataframe数据写入文件和数据库

Pandas是Python下一个开源数据分析的库,它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作,DataFrame是一张多维的表,大家可以把它想象成一张Excel表单或者Sql表。之前这篇文章已经介绍了从各种数据源将原始数据载入到dataframe中,这篇文件介绍怎么将处理好的dataframe中的数据写入到文件和数据库中。

首先我们通过二维ndarray创建一个简单的DataFrame:


1

2

3

4

5

6

7

8

import pandas as pd

import numpy as np

df = pd.DataFrame(np.random.randn(3, 4))

df

    0   1   2   3

0   1.0492286140081302  -0.7922606407983686 0.020418054868760225    -1.6649819403741724

1   0.3485250628814134  -2.117606544377745  1.466822878437205   -0.9249205656243358

2   1.3073567907490637  -0.7350348086218035 0.2856083175408006  -0.9053483976251634

1. Dataframe写入到csv文件


1

df.to_csv(‘D:\\a.csv‘, sep=‘,‘, header=True, index=True)

第一个参数是说把dataframe写入到D盘下的a.csv文件中,参数sep表示字段之间用’,’分隔,header表示是否需要头部,index表示是否需要行号。
2. Dataframe写入到json文件


1

df.to_json(‘D:\\a.json‘)

把dataframe写入到D盘下的a.json文件中,文件的内容为


1

{"0":{"0":1.049228614,"1":0.3485250629,"2":1.3073567907},"1":{"0":-0.7922606408,"1":-2.1176065444,"2":-0.7350348086},"2":{"0":0.0204180549,"1":1.4668228784,"2":0.2856083175},"3":{"0":-1.6649819404,"1":-0.9249205656,"2":-0.9053483976}}

3.Dataframe写入到html文件


1

df.to_html(‘D:\\a.html‘)

把dataframe写入到D盘下的a.html文件中,文件的内容为


1

<table border="1" class="dataframe">\n  <thead>\n    <tr style="text-align: right;">\n      <th></th>\n      <th>0</th>\n      <th>1</th>\n      <th>2</th>\n      <th>3</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>1.049229</td>\n      <td>-0.792261</td>\n      <td>0.020418</td>\n      <td>-1.664982</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>0.348525</td>\n      <td>-2.117607</td>\n      <td>1.466823</td>\n      <td>-0.924921</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>1.307357</td>\n      <td>-0.735035</td>\n      <td>0.285608</td>\n      <td>-0.905348</td>\n    </tr>\n  </tbody>\n</table>

在浏览器中打开a.html的样式为

4.Dataframe写入到剪贴板中
这个是我认为最为贴心的功能, 一行代码可以将dataframe的内容导入到剪切板中,然后可以复制到任意地方


1

df.to_clipboard()

5.Dataframe写入到数据库中


1

df.to_sql(‘tableName‘, con=dbcon, flavor=‘mysql‘)

第一个参数是要写入表的名字,第二参数是sqlarchmy的数据库链接对象,第三个参数表示数据库的类型,“mysql”表示数据库的类型为mysql。

原文地址:https://www.cnblogs.com/liuys635/p/12441423.html

时间: 2024-10-11 02:25:02

Pandas dataframe数据写入文件和数据库的相关文章

将pandas的DataFrame数据写入MySQL数据库 + sqlalchemy

将pandas的DataFrame数据写入MySQL数据库 + sqlalchemy [python] view plain copy print? import pandas as pd from sqlalchemy import create_engine ##将数据写入mysql的数据库,但需要先通过sqlalchemy.create_engine建立连接,且字符编码设置为utf8,否则有些latin字符不能处理 yconnect = create_engine('mysql+mysql

pandas-19 DataFrame读取写入文件的方法

pandas-19 DataFrame读取写入文件的方法 DataFrame有非常丰富的IO方法,比如DataFrame读写csv文件excel文件等等,操作很简单.下面在代码中标记出来一些常用的读写操作方法,需要的时候查询一下该方法就可以了. df1.to_csv('df1.csv') # 默认会把 index 也当成一列写入到文件中 df1.to_csv('df2.csv', index=False) # 如果不想显示索引,可以添加第二个参数 index = False df1.to_jso

Redis 中文入库成功,读取数据写入文件乱码问题

最近需要用到redis ,但是在编码这个问题上,纠结了很久. 需求 : 每天一个进程将中文文件入库到redis中(不定时更新) ,另外几个进程读取redis中的信息 ,并处理数据结果. 使用的redis模块 : redis-py 问题 : 入库正常,读取数据成功,以GBK编码写入文件出现异常. 通过以下参数连接 redis : client  = redis.StrictRedis(host='localhost', port=6379, db=0, password="***") 从

PHP内置函数file_put_content(),将数据写入文件,使用FILE_APPEND 参数进行内容追加

file_put_contents(fileName,data,flags,context) 入参说明: 参数 说明 fileName 要写入数据的文件名 data 要写入的数据.类型可以是 string,array(但不能为多维数组),或者是 stream 资源 flags 可选,规定如何打开/写入文件.可能的值: FILE_USE_INCLUDE_PATH:检查 filename 副本的内置路径 FILE_APPEND:在文件末尾以追加的方式写入数据 LOCK_EX:对文件上锁 contex

运用BufferedWriter把数据写入文件

public class WriteReadFiles { private static Logger log = LoggerFactory.getLogger(WriteReadFiles.class); public boolean writeFile(String content) { String filename = "E:/java_src/MVCDemo3/MVCDemo3/accounts.txt"; try { File f = new File(filename)

Java把double数据写入文件中

public class ReadOrWriteObject { private FileInputStream fileIns = null ;//文件输入流 private FileOutputStream fileOts = null;//文件输出流 private ObjectInputStream objectIns = null ;//对象输入流 private ObjectOutputStream objectOts = null ;//对象输出流 private String f

pandas DataFrame数据筛选和切片

DataFrame数据筛选--loc,iloc,ix,at,iat 条件筛选 单条件筛选 选取col1列的取值大于n的记录: data[data['col1']>n] 筛选col1列的取值大于n的记录,但是显示col2,col3列的值: data[['col2','col3']][data['col1']>n] 选择特定行:使用isin函数根据特定值筛选记录.筛选col1值等于list中元素的记录: data[data.col1.isin(list)] 多条件筛选 可以使用&(并)与|

PHP中Post和Get获取数据写入文件中

有时候Post或者Get传过来的数据我们不知道它是个什么样的形式,它可能是JSON格式或者就是简单提交过来的数据,这时候我们可以把他写入到文本中,就可以看到传过来的数据是什么格式了. $val = ""; $currentDateTime = date('YmdHis',time()); $currentDate = date('Ymd',time()); $fileName = "ioslog/".$currentDate;//文件名称 @$data = fope

Pandas DataFrame 数据选取和过滤

This would allow chaining operations like: pd.read_csv('imdb.txt') .sort(columns='year') .filter(lambda x: x['year']>1990) # <---this is missing in Pandas .to_csv('filtered.csv') For current alternatives see: http://stackoverflow.com/questions/11869