pandas初学习

简介

Pandas [1] 是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术语,在Pandas中也提供了panel的数据类型。

数据结构

  • Series:一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近,其区别是:List中的元素可以是不同的数据类型,而Array和Series中则只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效率。
  • Time- Series:以时间为索引的Series。
  • DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。
  • Panel :三维的数组,可以理解为DataFrame的容器。

终端输入

Jupyter Notebook

导入相关模块

import numpy as np
import pandas as pd
from pandas import Series, DataFrame

Series

Series是一种类似于一维数组的对象,它由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成。

实质上是创建了一个 Series 对象,这也就说明了为什么会有index和values.

Series自定义索引

Series自定义索引的另一种方法

在这里就引入另一个概念“自动对齐”。自定义的索引会自动去寻找原来的索引,如果一样的,就取出原来索引对应的值。

在 Pandas 中,如果没有值,都对齐赋给 NaN。

当然上面的代码也可以写成这样

Series判断值是否为空

DataFrame

一个Datarame表示一个表格,类似电子表格的数据结构,包含一个经过排序的列表集,它们没一个都可以有不同的类型值(数字,字符串,布尔等等)。Datarame有行和列的索引;它可以被看作是一个Series的字典(每个Series共享一个索引)。

构建DataFrame最常用的方法——直接传入一个由等长列表或NumPy数组组成的字典

如果指定了列序列,则DataFrame的列就会按照指定的顺序进行排列

如果传入的列在数据中找不到,就会产生NAN值

通过行、列进行获取

  • 通过类似字典标记的方式或属性的方式,可以将DataFream的列获取为一个Series:
  • 同理行也可以通过位置或名称的方式进行获取

基本功能


重新索引

Series的reindex将会根据新索引进行,如果某个索引值当前不存在,就引入缺失值

  • reindex的method选项

    • ffill或pad 向前填充值
    • bfill或backfill 向后填充值

对于DataFrame,reindex可以修改行、列或者两个都可以修改。如果仅传入一个序列,则会重新索引行

  • reindex函数的参数
参数 说明
index 用作索引的新序列。既可以是index实例,也可以是其他序列型python数据结构
method 插值方式
fill_value 在重新索引过程中,需要引入缺失值时使用的代替值
limit 前向或后向填充时的最大填充量
level 在Multilndex的指定级别上匹配简单索引,否则选取其子集
copy 默认为true,无论如何都复制;如果为false,则新旧相等就不复制

索引、选取和过滤

类型 说明
obj[val] 选取DataFrame的单个列或一组列。在一些特殊的情况下会比较便利:布尔型数组(过滤行)
obj.ix[val] 选取DataFrame的单个行或一组行
obj.ix[:,val] 选取单个列或列子集
obj.ix[val1,val2] 同时选取行和列
reindex方法 将一个或多个轴匹配到新索引
xs方法 根据标签选取单行或单列,并返回一个Series
icol、irow方法 根据整数位置选取单行或单列,并返回一个Series
get_value、set_value方法 根据行标签或列标签选取单个值

原文地址:https://www.cnblogs.com/wt714/p/12349647.html

时间: 2024-11-02 16:19:21

pandas初学习的相关文章

pandas.DataFrame学习系列2——函数方法(1)

DataFrame类具有很多方法,下面做用法的介绍和举例. pandas.DataFrame学习系列2--函数方法(1) 1.abs(),返回DataFrame每个数值的绝对值,前提是所有元素均为数值型 1 import pandas as pd 2 import numpy as np 3 4 df=pd.read_excel('南京银行.xlsx',index_col='Date') 5 df1=df[:5] 6 df1.iat[0,1]=-df1.iat[0,1] 7 df1 8 Open

Pandas基础学习与Spark Python初探

摘要:pandas是一个强大的Python数据分析工具包,pandas的两个主要数据结构Series(一维)和DataFrame(二维)处理了金融,统计,社会中的绝大多数典型用例科学,以及许多工程领域.在Spark中,python程序可以方便修改,省去java和scala等的打包环节,如果需要导出文件,可以将数据转为pandas再保存到csv,excel等. 1.Pandas是什么? pandas是一个强大的Python数据分析工具包,是一个提供快速,灵活和表达性数据结构的python包,旨在使

Pandas初体验之数据结构——Series和DataFrame

Pandas是为了解决数据分析任务而创建的,纳入了大量的库和标准数据模型,提供了高效地操作大型数据集所需的工具. 对于Pandas包,在Python中常见的导入方法如下: from pandas import Series,DataFrame import pandas as pd 首先,我们需要对于Series和DataFrame有个基本的了解: Series:一维数组,类似于Python中的基本数据结构list,区别是Series只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效

UGUI初学习--------Canvas

今天仔细研究了一下UGUI觉得有必要写一篇文章来分享一下.废话不多说直接开码字..... 作者之前也学过NGUI.这里来说明一下,UGUI和NGUI的渲染结构略有不同,UGUI中将NGUI中的深度处理项取消了.UGUI的渲染是按照Hierarchy的UI游戏对象的排列顺序从上到下依次渲染的,重叠部分后渲染的会把先渲染的挡住.总结一句话:下在上前,子在父前.为了修改各个UI控件的绘制顺序,开发者可以采用以下两种方法:拖动Hierarchy视图里的各UI控件对象,改变它们在Canvas下的排列顺序:

pandas库学习笔记(一)Series入门学习

Pandas基本介绍: pandas is an open source, BSD-licensed (permissive free software licenses) library providing high-performance, easy-to-use data structures and data analysis tools for the Python programming language. 我们快速简单地看一下pandas中的基本数据结构,先从数据类型.索引.切片等

C语言初学习(3)

题目:计算字符串中的单词数.单词:由空格分开的连续字母数字串. 分析:这个就一目了然了,题目提示已经很清楚了,那就判断空格呗~简单是简单,所以我们不妨用指针来完成它! 不多说,一起来看代码~ 代码: 1 #include<stdio.h> 2 void str_n(char *s) 3 { 4 int i,j=0; 5 for(i=0;i<100;i++) 6 { 7 if(*s++==32) //数空格 8 { 9 j++; 10 } 11 } 12 printf("单词数为

C语言初学习(4)

题目:求a和b的最大公约数 分析:首先我们要知道最大公约数是什么,就是指两个或多个整数共有约数中最大的一个.好了,知道了最大公约数是什么,就可以求解它了,那么就相当于比较俩个数的约数,取其相等的最大的一个就对了,是吧?约数是啥???约数就是能把a或者b整除的数呗~ 好了~一起来看看代码吧~ 代码: 1 #include<stdio.h> 2 void gcd(long int a,long int b) //子函数求gcd 3 { 4 long int i,t=0,j=0,k=0,max,q=

C语言初学习(1)

题目:对于任意正整数都可以找出至少一串连续奇数,它们的和等于该整数的立方.以下程序验证[2,20]之间的数满足这一性质. 分析:首先得出该整数num的立方n.对于这一连串的奇数,我们不能确定它的个数,但我们可以分析出它的个数不会超过这个整数num(这个应该可以理解~).那么我们就可以得到一个范围那就是1到num之间的奇数,但至于到底有几个呢?好像不好得到.没关系,用for()循环来帮忙.让它遍历从1到num的所以的奇数,用变量sum来存放它们的和,并依次与立方n进行比较,如果相等了,那这就对了,

Linux初学习之 rm 命令

现在我们来仔细的学习一下linux的rm命令,这个命令顾名思义(我猜的,嘻嘻,是remove) 命令格式: rm [OPTION]... FILE... Remove (unlink) the FILE(s). 就是删除文件(们),至于unlink是什么以后再去讨论了 OPTION: -f,  --force           ignore nonexistent files, never prompt 忽略不存在的文件,不提醒-i,  --interactive     prompt bef