第四节 pandas 数据加载

  pandas提供了一些用于将表格型数据读取为DataFrame对象的函数,其中read_csv和read_table这两个使用最多。

#导包import pandas as pd
from pandas import DataFrame,Series
import numpy as np

一 文件操作

1.1  读取文件

  • 文件数据

  • 读取代码
df = pd.read_csv(‘./data-07/type-.txt‘,sep=‘-‘,header=None)
# sep:分隔符
# header:None首行不作为列索引
  • 效果展示

1.2 写入文件

#写入excel文件 :df.to_excel(‘name.xlsx‘)
pd.excel(‘./eee.xls‘)

二 数据库mysql 操作(pymysql)

2.1 读取数据库

(1)更新pymysql

在cmd中利用conda命令输入:conda update 库名,例如conda update pymysql,并回车,如下图所示

推荐文章:

库更新及jupyter-notebook默认目录更改方法:https://blog.csdn.net/zenghaitao0128/article/details/78241146

(2) 导包

import pandas as pd
import pymysql
import sys
from sqlalchemy import create_engine

(3) 创建conn管道

#连接数据库,获取连接对象
conn = create_engine(‘mysql+pymysql://root:123@localhost:3306/day02?charset=utf8‘)

(4) 展示数据库中的数据

sql=‘select *from student;‘ #书写mysql语句

#读取库表中的数据值
df=pd.read_sql(sql,conn)
df

conn创建参数详解

import pandas as pd
from sqlalchemy import create_engine

##将数据写入mysql的数据库,但需要先通过sqlalchemy.create_engine建立连接,且字符编码设置为utf8,否则有些latin字符不能处理
conn = create_engine(‘mysql+mysqldb://root:password@localhost:3306/databasename?charset=utf8‘)
pd.io.sql.to_sql(thedataframe,‘tablename‘, conn, schema=‘databasename‘, if_exists=‘append‘)
 
参数解释:

第一个参数thedataframe是需要导入的pd dataframe,

第二个参数tablename是将导入的数据库中的表名

第三个参数conn是启动数据库的接口,pd 1.9以后的版本,除了sqllite,均需要通过sqlalchemy来设置

第四个参数databasename是将导入的数据库名字

第五个参数if_exists=‘append‘的意思是,如果表tablename存在,则将数据添加到这个表的后面

sqlalchemy.create_engine是数据库引擎

(‘mysql+mysqldb://root:password@localhost:3306/databasename?charset=utf8‘)的解释

mysql是要用的数据库

mysqldb是需要用的接口程序

root是数据库账户

password是数据库密码

localhost是数据库所在服务器的地址,这里是本机

3306是mysql占用的端口

elonuse是数据库的名字

charset=utf8是设置数据库的编码方式,这样可以防止latin字符不识别而报错
原文:https://blog.csdn.net/biboshouyu/article/details/54139641

2.2 DadaFrame数据写入数据库
yconnect = create_engine(‘mysql+pymysql://root:123@localhost:3306/day02?charset=utf8‘)
#将一个df中的数据值写入存储到
df=DataFrame(data=np.random.randint(0,100,size=(2,3)))
df
df.to_sql(‘text‘,con=yconnect,if_exists=‘replace‘)

 

原文地址:https://www.cnblogs.com/angle6-liu/p/10411433.html

时间: 2024-10-09 10:11:42

第四节 pandas 数据加载的相关文章

[Aaronyang] 写给自己的WPF4.5 笔记6[三巴掌-大数据加载与WPF4.5 验证体系详解 2/3]

我要做回自己--Aaronyang的博客(www.ayjs.net) 博客摘要: Virtualizing虚拟化DEMO 和 大数据加载的思路及相关知识 WPF数据提供者的使用ObjectDataProvider 和 XmlDataProvider WPF验证 第一:使用自带的属性SET抛出异常,前台捕捉到异常,描红 第二:我们可以自定义验证规则,替代刚开始的异常捕捉验证 第三:我们可以使用INotifyDataErrorInfo方式,增加异常,并实现了验证通知和还原非法值 第四:我们使用了Er

20200113(数据加载、存储和文件格式)

6. 数据加载.存储和文件格式 输出输出通常包括几个大类: 读取文本文件和其他更高效的磁盘存储格式: 加载数据库中的数据: 利用Web API 操作网络资源. 这里着重介绍pandas的输入输出对象. 6.1  读取文本格式的数据 pandas 提供了一些用于将表格数据读取为DataFrame 对象的函数.如下: 上面这些函数的选项可以划分为以下几个大类: 其中,类型推断(type inference)是这些函数中最重要的功能之一,也就是说不需要指定列的类型到底是数值.整数.布尔值还是字符串.

DICOM:DICOM三大开源库对比分析之“数据加载”

背景: 上一篇博文DICOM:DICOM万能编辑工具之Sante DICOM Editor介绍了DICOM万能编辑工具,在日常使用过程中发现,"只要Sante DICOM Editor打不开的数据,基本可以判定此DICOM文件格式错误(准确率达99.9999%^_^)".在感叹Sante DICOM Editor神器牛掰的同时,想了解一下其底层是如何实现的.通过日常使用以及阅读软件帮助手册推断其底层依赖库很可能是dcmtk,就如同本人使用dcmtk.fo-dicom.dcm4che3等

Android4.0图库Gallery2代码分析(二) 数据管理和数据加载

Android4.0图库Gallery2代码分析(二) 数据管理和数据加载 2012-09-07 11:19 8152人阅读 评论(12) 收藏 举报 代码分析android相册优化工作 Android4.0图库Gallery2代码分析(二) 数据管理和数据加载 一 图库数据管理 Gallery2的数据管理 DataManager(职责:管理数据源)- MediaSource(职责:管理数据集) - MediaSet(职责:管理数据项).DataManager中初始化所有的数据源(LocalSo

数据加载的妙招解析

大数据中怎么来加载数据呢?数据加载应该注意哪些问题呢?关系型数据库和Impala.Hive加载数据有哪些区别呢? 在了解加载数据之前必须明确一个概念"数据验证", Impala和Hive与其他关系型数据库不一样,关系型数据库是在写的时候进行校验,比如我们创建一个表,当去给它加载数据的时候,它会去验证数据以及数据类型是不是符合要求,如果不符合,数据就加载不了. 在Hive和Impala中,它在读的时候进行校验.为什么会这样设计呢?主要是为了提升写的速度和加载的效率.那么,这样检验数据会不

winform如何实现将数据库数据加载到树上

一.简介 对于winform中如何加载xml生成目录树,在前边一篇文章"c#如何实现从xml中加载树目录,并且显示完整的Text"中我已经写了详细的过程.但是有些时候我们不可能将大量的数据存储到xml中,原因是,xml一般用于小数据量的传递.而大数据的存储与传递我们一般用专门的数据库管理工具作为传递的介质.在此,声明一点是,对于大数据量的传递,我们在这里不考虑速率传递快慢问题,我们举例只是实现最基本的功能,这样也方便和我一样的初学者理解. 好了,说了这么多废话,开始正式进入我们这篇文章

Android5.1图库Gallery2代码分析数据加载流程

图片数据加载流程. Gallery---->GalleryActivity------>AlbumSetPage------->AlbumPage--------->PhotoPage 相册集                        照片集                 某张图片 1,AlbumSetPage.java private void initializeData(Bundle data) { String mediaPath = data.getString(A

实现虚拟模式的动态数据加载Windows窗体DataGridView控件 .net 4.5 (一)

实现虚拟模式的即时数据加载Windows窗体DataGridView控件 .net 4.5 原文地址 :http://msdn.microsoft.com/en-us/library/ms171624.aspx  译 Q:77811970 实现虚拟模式的原因之一 DataGridView控制只检索数据,因为它是必要的. 这就是所谓的 即时数据加载 . 如果你正在与一个非常大的表在一个远程数据库,例如,您可能希望避免启动延迟,只检索所需的数据显示和检索额外的数据只有当用户新行滚动到视图. 如果客户

JQuery插件:遮罩+数据加载中。。。(特点:遮你想遮,罩你想罩)

在很多项目中都会涉及到数据加载.数据加载有时可能会是2-3秒,为了给一个友好的提示,一般都会给一个[数据加载中...]的提示.今天就做了一个这样的提示框. 先去jQuery官网看看怎么写jQuery插件,然后就开始写了.写下来这么一个插件,稍作优化,就在项目中使用了.下面贴的是我写这个插件时的测试图: 这张图模拟数据加载前提示框的展示,这个表格是一个写在页面上的.蓝色的底纹就是遮罩层. (function($){ $.fn.extend({ /** * 打开遮罩,并显示一段文字. * @para