第三节 pandas续集

import pandas as pd
from pandas import Series
from pandas import DataFrame
import numpy as np

一 创建多层DataFrame

  • 取得列:df[‘col‘] df[[c1,c2]] df.loc[:,col]
  • 取行:df.loc[‘index‘] df[index1:inde2]

1.1  隐式构造

　　最常见的方法是给DataFrame构造函数的index或者columns参数传递两个或更多的数组

DataFrame(data=np.random.randint(0,100,size=(2,2)),columns=[[‘a‘,‘b‘],[‘A‘,‘B‘]])

1.2 显示构造pd.MultiIndex.from_product

col=pd.MultiIndex.from_product([[‘qizhong‘,‘qimo‘],
                                [‘chinese‘,‘math‘]])

#创建DF对象
df = DataFrame(data=np.random.randint(60,120,size=(2,4)),index=[‘tom‘,‘jay‘],
         columns=col)

二 多层行索引

　　逐级降层

df[‘qimo‘]

df[‘qimo‘][‘math‘]

# 获取tom期中所有科目的考试成绩

df[‘qizhong‘].loc[‘tom‘]

注意　　在对行索引的时候，若一级行索引还有多个，对二级行索引会遇到问题！也就是说，无法直接对二级索引进行索引，必须让二级索引变成一级索引后才能对其进行索引！
总结：
访问一列或多列 直接用中括号[columnname]  [[columname1,columnname2...]]
访问一行或多行  .loc[indexname]
访问某一个元素  .loc[indexname,columnname]  获取李四期中的php成绩
行切片          .[index1:index2]        获取张三李四的期中成绩
列切片          .loc[:,column1:column2]    获取张三李四期中的php和c++成绩

三 聚合操作

所谓的聚合操作：平均数，方差，最大值，最小值……

df.sum(axis=0)

df.mean()

四 使用pd.concat()级联

pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数：

objs
axis=0
keys
join=‘outer‘ / ‘inner‘:表示的是级联的方式，outer会将所有的项进行级联（忽略匹配和不匹配），　　　　　　　　　　　而inner只会将匹配的项级联到一起，不匹配的不级联
ignore_index=False

4.1 匹配级联

　匹配的索引能完全对上,不多也不少.

df1 = DataFrame(data=np.random.randint(0,100,size=(3,3)),index=[‘a‘,‘b‘,‘c‘])
df2 = DataFrame(data=np.random.randint(0,100,size=(3,3)),index=[‘a‘,‘b‘,‘d‘])
pd.concat([df1,df1],axis=0)

4.2 不匹配级联

不匹配指的是级联的维度的索引不一致。例如纵向级联时列索引不一致，横向级联时行索引不一致

有2种连接方式：

  • 外连接：补NaN（默认模式）outer
  • 内连接：只连接匹配的项 inner
pd.concat([df1,df2],axis=1,join=‘inner‘) #内连接

4.3 使用df.append()函数添加

由于在后面级联的使用非常普遍，因此有一个函数append专门用于在后面添加

df1.append(df2) #列索引必须一致

五  使用pd.merge()合并

merge与concat的区别在于，merge需要依据某一共同的列来进行合并

使用pd.merge()合并时，会自动根据两者相同column名称的那一列，作为key来进行合并。

注意每一列元素的顺序不要求一致

参数：

  • how：out取并集 inner取交集
  • on：当有多列相同的时候，可以使用on来指定使用那一列进行合并，on的值为一个列表

5.1  一对一合并

df1 = DataFrame({‘employee‘:[‘Bob‘,‘Jake‘,‘Lisa‘],
                ‘group‘:[‘Accounting‘,‘Engineering‘,‘Engineering‘],
                })
df2 = DataFrame({‘employee‘:[‘Lisa‘,‘Bob‘,‘Jake‘],
                ‘hire_date‘:[2004,2008,2012],
                })
pd.merge(df1,df2) #自动找相同的,列进行合并

left:right:  merge后: 

5.2 多对一合并

df3 = DataFrame({
    ‘employee‘:[‘Lisa‘,‘Jake‘],
    ‘group‘:[‘Accounting‘,‘Engineering‘],
    ‘hire_date‘:[2004,2016]})

df4 = DataFrame({‘group‘:[‘Accounting‘,‘Engineering‘,‘Engineering‘],
                       ‘supervisor‘:[‘Carly‘,‘Guido‘,‘Steve‘]
                })

pd.merge(df3,df4,how=‘outer‘)

left:right:

merge:

5.3 多对多合并

df1 = DataFrame({‘employee‘:[‘Bob‘,‘Jake‘,‘Lisa‘],
                 ‘group‘:[‘Accounting‘,‘Engineering‘,‘Engineering‘]})

df5 = DataFrame({‘group‘:[‘Engineering‘,‘Engineering‘,‘HR‘],
                ‘supervisor‘:[‘Carly‘,‘Guido‘,‘Steve‘]
                })

pd.merge(df1,df5,how=‘left‘)

left: right:

merge:

5.4 key的规范化

  • 当列冲突时，即有多个列名称相同时，需要使用on=来指定哪一个列作为key，配合suffixes指定冲突列名
df1 = DataFrame({‘employee‘:[‘Jack‘,"Summer","Steve"],
                 ‘group‘:[‘Accounting‘,‘Finance‘,‘Marketing‘]})

df2 = DataFrame({‘employee‘:[‘Jack‘,‘Bob‘,"Jake"],
                 ‘hire_date‘:[2003,2009,2012],
                ‘group‘:[‘Accounting‘,‘sell‘,‘ceo‘]})

pd.merge(df1,df2,on=‘group‘,how=‘outer‘)

  • 当两张表没有可进行连接的列时，可使用left_on和right_on手动指定merge中左右两边的哪一列列作为连接的列
df1 = DataFrame({‘employee‘:[‘Bobs‘,‘Linda‘,‘Bill‘],
                ‘group‘:[‘Accounting‘,‘Product‘,‘Marketing‘],
               ‘hire_date‘:[1998,2017,2018]})

df5 = DataFrame({‘name‘:[‘Lisa‘,‘Bobs‘,‘Bill‘],
                ‘hire_dates‘:[1998,2016,2007]})

pd.merge(df1,df5,left_on=‘employee‘,right_on=‘name‘,how=‘outer‘) #指定左右表相关联的列

5.5 内合并与外合并:out取并集 inner取交集

  • 内合并：只保留两者都有的key（默认模式）
df6 = DataFrame({‘name‘:[‘Peter‘,‘Paul‘,‘Mary‘],
               ‘food‘:[‘fish‘,‘beans‘,‘bread‘]}
               )
df7 = DataFrame({‘name‘:[‘Mary‘,‘Joseph‘],
                ‘drink‘:[‘wine‘,‘beer‘]})
  • 外合并 how=‘outer‘：补NaN
df6 = DataFrame({‘name‘:[‘Peter‘,‘Paul‘,‘Mary‘],
               ‘food‘:[‘fish‘,‘beans‘,‘bread‘]}
               )
df7 = DataFrame({‘name‘:[‘Mary‘,‘Joseph‘],
                ‘drink‘:[‘wine‘,‘beer‘]})

六  数据处理

6.1 删除重复元素 duplicated()

使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True

- keep参数：指定保留哪一重复的行数据


#数据准备
#创建一个df
np.random.seed(1)
df = DataFrame(np.random.randint(0,100,size=(8,6)))

#手动将df的某几行设置成相同的内容
df.iloc[1] = [6,6,6,6,6,6]
df.iloc[3] = [6,6,6,6,6,6]
df.iloc[4] = [6,6,6,6,6,6]

方式一

df.duplicated(keep=‘last‘) 

indexs = df[df.duplicated(keep=‘last‘)].index #获取需要删除行的索引
df.drop(labels=indexs,axis=0) #删除重复行

方式二:

使用drop_duplicates()函数删除重复的行

  • drop_duplicates(keep=‘first/last‘/False)
df.drop_duplicates() #一步到位

6.2 映射

(1)replace( )函数:替换元素

　　使用replace()函数，对values进行映射操作

Series替换操作

  • 单值替换

    • 普通替换
    • 字典替换(推荐）
  • 多值替换
    • 列表替换
    • 字典替换（推荐）
  • 参数
    • to_replace:被替换的元素

replace参数说明：

  • method：对指定的值使用相邻的值填充替换
  • limit：设定填充次数

DataFrame替换操作

  • 单值替换

    • 普通替换： 替换所有符合要求的元素:to_replace=15,value=‘e‘
    • 按列指定单值替换： to_replace={列标签：替换值} value=‘value‘
  • 多值替换

    • 列表替换: to_replace=[] value=[]
    • 字典替换（推荐） to_replace={to_replace:value,to_replace:value}

注意：DataFrame中，无法使用method和limit参数

df.replace(to_replace=6,value=‘six‘) #用‘six‘代替df中的‘6‘

df.replace(to_replace={3:6},value=‘six‘) #用‘six‘代替df中第4列的‘6‘

df.replace(to_replace={1:‘one‘}) #用‘one‘代替df中的‘‘1‘

6.3 map()函数：新建一列 ， map函数并不是df的方法，而是series的方法

  • map()可以映射新一列数据
  • map()中可以使用lambd表达式
  • map()中可以使用方法，可以是自定义的方法

    eg:map({to_replace:value})

注意 map()中不能使用sum之类的函数，for循环

dic = {
    ‘name‘:[‘周杰伦‘,‘李四‘,‘王五‘],
    ‘salary‘:[1000,2000,3000]
}
df = DataFrame(data=dic)

#新增一列：给df中，添加一列，该列的值为中文名对应的英文名

#封装一个映射关系表
dic = {
    ‘周杰伦‘:‘jay‘,
    ‘王五‘:‘wangwu‘,
    ‘李四‘:‘lisi‘
}
df[‘ename‘] = df[‘name‘].map(dic)
df

map当做一种运算工具，至于执行何种运算，是由map函数的参数决定的（参数：lambda，函数）

  • 使用自定义函数
#自定义函数
def after_salary(s):
    if s <= 500:
        return s
    else:
        return s - (s-500)*0.5

#超过500部分的钱缴纳50%的税
after_sal = df[‘salary‘].map(after_salary)
df[‘after_salary‘] = after_sal
df
  • 使用lambda表达式
#员工的薪资集体提高500
df[‘salary‘].map(lambda x:x+500)

6.4 数据重排 --- 使用.take()函数排序

- take()函数接受一个索引列表，用数字表示,使得df根据列表中索引的顺序进行排序
- eg:df.take([1,3,4,2,5])
  • np.random.permutation(x)可以生成x个从0-(x-1)的随机数列
df.take(np.random.permutation(1000),axis=0).take(np.random.permutation(3),axis=1)

#np.random.permutation(1000) :把0,1000随机排列成列表

当DataFrame规模足够大时，直接使用np.random.permutation(x)函数，就配合take()函数实现随机抽样

6.5 数据分类处理【重点】

数据聚合是数据处理的最后一步，通常是要使每一个数组生成一个单一的数值。

数据分类处理：

  • 分组：先把数据分为几组
  • 用函数处理：为不同组的数据应用不同的函数以转换数据
  • 合并：把不同组得到的结果合并起来

数据分类处理的核心：

 - groupby()函数
 - groups属性查看分组情况
 - eg: df.groupby(by=‘item‘).groups

6.5.1 分组

#数据源
df = DataFrame({‘item‘:[‘Apple‘,‘Banana‘,‘Orange‘,‘Banana‘,‘Orange‘,‘Apple‘],
                ‘price‘:[4,3,3,2.5,4,2],
               ‘color‘:[‘red‘,‘yellow‘,‘yellow‘,‘green‘,‘green‘,‘green‘],
               ‘weight‘:[12,20,50,30,20,44]})

#分组
df.groupby(by=‘item‘)

#查看分组情况
df.groupby(by=‘item‘).groups

分组后可以聚合:.sum,.mean

#计算出苹果的平均价格
dic = {
    ‘Apple‘:3,
    ‘Banana‘:2.75,
    ‘Orange‘:3.5
}
df[‘mean_price‘] = df[‘item‘].map(dic)
df.groupby(by=‘item‘)[‘price‘].mean()[‘Apple‘]

#按颜色查看各种颜色的水果的平均价格
df.groupby(by=‘color‘)[‘price‘].mean()
dic={
    ‘green‘:2.83,
    ‘red‘:4,
    ‘yellow‘:3
}
df[‘color_mean_price‘] = df[‘color‘].map(dic)
df

6.6 高级数据聚合

使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算

  • df.groupby(‘item‘)[‘price‘].sum() <==> df.groupby(‘item‘)[‘price‘].apply(sum)
  • transform和apply都会进行运算，在transform或者apply中传入函数即可
  • transform和apply也可以传入一个lambda表达式
#求出各种水果价格的平均值
df.groupby(by=‘item‘)[‘price‘].mean()

apply和transform

#定义执行方法def fun(s):
    sum = 0
    for i in s:
        sum+=s
    return sum/s.size
#使用apply函数求出水果的平均价格
df.groupby(by=‘item‘)[‘price‘].apply(fun) #给fun传入的参数是一个列表

#使用transform函数求出水果的平均价格
df.groupby(by=‘item‘)[‘price‘].transform(fun) #给fun传入的参数是一个列表



原文地址：https://www.cnblogs.com/angle6-liu/p/10420236.html
				


				
时间： 2024-10-02 21:19:22 

		


		


	

	
	

		


		
第三节 pandas续集的相关文章


								

		

			

                第三节：初识pandas之DataFrame（上）
			

		

		

									

				DataFrame是Python中Pandas库中的一种数据结构,它类似excel,是一种二维表. 原文地址:https://www.cnblogs.com/zhaco/p/10292107.html			

		

	

				

		

			

                第十三节：pandas之groupby（）分组
			

		

		

									

				1.Series()对象分组 1.1.单级索引 1.2.多级索引 2.DataFrame()对象分组 原文地址:https://www.cnblogs.com/zhaco/p/10323755.html			

		

	

				

		

			

                一些Pandas常用方法
			

		

		

									

				Series(列)方法describe(),对于不同类型的变量的列,有不同返回值(http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.describe.html) >>> s = pd.Series([1, 2, 3]) >>> s.describe() count 3.0 mean 2.0 std 1.0 min 1.0 25% 1.5 50% 2.0 75% 2.5 max 3			

		

	

				

		

			

                Pandas学习之常用函数详解
			

		

		

									

				本文和大家分享的主要是Pandas库常用函数相关内容,一起来看看吧,希望对大家学习Pandas有所帮助. 1. DataFrame 处理缺失值 pandas.DataFrame.dropna df2.dropna(axis=0, how='any', subset=[u'ToC'], inplace=True) 把在ToC列有缺失值的行去掉 2. 根据某维度计算重复的行 pandas.DataFrame.duplicated print df.duplicated(['name']).value			

		

	

				

		

			

                第三百二十三节，web爬虫，scrapy模块以及相关依赖模块安装
			

		

		

									

				第三百二十三节,web爬虫,scrapy模块以及相关依赖模块安装 当前环境python3.5 ,windows10系统 Linux系统安装 在线安装,会自动安装scrapy模块以及相关依赖模块 pip install Scrapy 手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块 安装以下模块 1.lxml-3.8.0.tar.gz (XML处理库) 2.Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架) 3.Scrapy-1.4.0.tar.gz			

		

	

				

		

			

                用scikit-learn和pandas学习线性回归
			

		

		

									

				对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了. 1. 获取数据,定义问题 没有数据,当然没法研究机器学习啦.:) 这里我们用UCI大学公开的机器学习数据来跑线性回归. 数据的介绍在这: http://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant 数据的下载地址在这: http://archive.ics.uci.edu/ml/ma			

		

	

				

		

			

                python之pandas模块的基本使用（1）
			

		

		

									

				一.pandas概述 pandas :pannel data analysis(面板数据分析).pandas是基于numpy构建的,为时间序列分析提供了很好的支持.pandas中有两个主要的数据结构,一个是Series,另一个是DataFrame. 二.数据结构 Series Series 类似于一维数组与字典(map)数据结构的结合.它由一组数据和一组与数据相对应的数据标签(索引index)组成.这组数据和索引标签的基础都是一个一维ndarray数组.可将index索引理解为行索引. Seri			

		

	

				

		

			

                Pandas中如何处理大数据？
			

		

		

									

				近期的工作和Hive SQL打交道比较多,偶尔遇到一些SQL不好解决的问题,会将文件下载下来用pandas来处理,由于数据量比较大,因此有一些相关的经验可以和大家分享,希望对大家学习pandas有所帮助吧. 大文本数据的读写 有时候我们会拿到一些很大的文本文件,完整读入内存,读入的过程会很慢,甚至可能无法读入内存,或者可以读入内存,但是没法进行进一步的计算,这个时候如果我们不是要进行很复杂的运算,可以使用read_csv提供的chunksize或者iterator参数,来部分读入文件,处理完之后			

		

	

				

		

			

                十分钟入门pandas数据结构和索引
			

		

		

									

				pandas数据结构和索引是入门pandas必学的内容,这里就详细给大家讲解一下,看完本篇文章,相信你对pandas数据结构和索引会有一个清晰的认识. 一.数据结构介绍 在pandas中有两类非常重要的数据结构,即序列Series和数据框DataFrame.Series类似于numpy中的一维数组,除了通吃一维数组可用的函数或方法,而且其可通过索引标签的方式获取数据,还具有索引的自动对齐功能:DataFrame类似于numpy中的二维数组,同样可以通用numpy数组的函数和方法,而且还具有其他灵