pandas pivot_table 活学活用实例教程

• pandas pivot_table 活学活用实例教程
  • 导入相关数据分析的库
  • 首先进行commentTime时间进行数据预处理
  • 查看数据类型信息
  • 最简单的透视表
  • 直接敲击该函数，在notebook中可以查看该函数的参数
  • 多个索引列
  • 特定列的统计
  • 规定特定的聚合函数
  • 传入多个聚合函数
  • 传入columns参数
  • 生成的DataFrame可以导出excel或csv文件
  • 修改index中的数据类型，显示完整的索引列
  • 传入fill_value参数，处理缺失值
  • 设添加margins参数，定margin_name名称
  • aggfunc传入字典，规定单个字段对应的聚合函数
  • 可以使用query 进行查询数据
  • 高级的透视表查询语句
• 至此，pandas中的透视表的功能实例实现完成

pandas pivot_table 活学活用实例教程

导入相关数据分析的库

import pandas as pd
import numpy as np
import  matplotlib.pyplot as  plt
import time

df=pd.read_excel("all_data_meituan.xlsx")
df=df[[‘commentTime‘,‘menu‘,‘readCnt‘,‘star‘,‘userId‘,‘userLevel‘,‘zanCnt‘]].dropna()
# 这里去掉缺失值，因为后面的透视表中的处理都是直接去除缺失值（dropna=True），这边我们先处理掉，以免与后面的结果发生了矛盾，还要分析问题在哪里。
df.head() # 看出前5行

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead th { text-align: right }

首先进行commentTime时间进行数据预处理

def convertTime(x):
    y=time.localtime(x/1000)
    z=time.strftime("%Y-%m-%d %H:%M:%S",y)
    return z
df["commentTime"]=df["commentTime"].apply(convertTime)

df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead th { text-align: right }

查看数据类型信息

df.info()

<class ‘pandas.core.frame.DataFrame‘>
Int64Index: 17223 entries, 0 to 199
Data columns (total 7 columns):
commentTime    17223 non-null object
menu           17223 non-null object
readCnt        17223 non-null int64
star           17223 non-null int64
userId         17223 non-null int64
userLevel      17223 non-null int64
zanCnt         17223 non-null int64
dtypes: int64(5), object(2)
memory usage: 1.1+ MB

最简单的透视表

# 下面使用pandas中我们在前面的数据分析中未使用到的一个大的模块，透视表pivot_table
pd.pivot_table(df,index=[‘menu‘])

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead th { text-align: right }

直接敲击该函数，在notebook中可以查看该函数的参数

# 查看函数的参数以及默认参数，其中aggfunc意思是透视表使用的聚类分析方法，这种简单的透视表我们可以通过groupby实现，df.groupby(‘menu‘).mean()
#  这里针对的数值型字段，比如我们在预处理中的评论时间字段并没有出现求平均的结果
pd.pivot_table

<function pandas.core.reshape.pivot.pivot_table(data, values=None, index=None, columns=None, aggfunc=‘mean‘, fill_value=None, margins=False, dropna=True, margins_name=‘All‘)>

多个索引列

# 实际上单个索引的pivot_table 与groupby得到的结果一样，可以这样说，pivot_table是高级版本的groupby，提供了很多groupby不能实现的功能
# 多索引，通过列表传入
pd.pivot_table(df,index=[‘menu‘,‘star‘])
# 发现一个问题，star索引列中的数据显示不全，有的menu评分不全，不过这并不影响我们进行分析
# 加入star列类型是int类型的话，会有显示不全的信息，但是将star列转化为category类之后，数据显示完整，后文有示例
# 发现每个menu重的点赞的平均数在评分位10分的最高，也就是浏览评论数据的人中给10分的评价点赞数最多，很可能是因为一针见血的指出了该品类的真相。。

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead th { text-align: right }

特定列的统计

# 上面的分析中包含了多列的平均值，假如我们只想看其中的readCnt 列，可以传入values参数
pd.pivot_table(df,index=[‘menu‘,‘star‘],values=‘readCnt‘)

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead th { text-align: right }

规定特定的聚合函数

#  此时，我们也会考虑，这个地方是不是只能是平均值，回答当然是no，还可以通过aggfunc传入其他的参数，以获得不同的结果，例如
# 我们可以通过传入np.sum,函数，求总和
pd.pivot_table(df,index=[‘menu‘,‘star‘],values=‘readCnt‘,aggfunc=np.sum)

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead th { text-align: right }

传入多个聚合函数

#  aggfunc 可以传入多个参数
pd.pivot_table(df,index=[‘menu‘,‘star‘],values=‘readCnt‘,aggfunc=[np.sum,len])

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

#  aggfunc 可以传入多个参数
pd.pivot_table(df,index=[‘menu‘,‘star‘],values=‘readCnt‘,aggfunc=[np.sum,len,np.mean])

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

传入columns参数

# 同时我们可以利用columns传入参数，通常传入的都是category类型的字段，这样可以分析针对这个字段下，values对应列的各个aggfunc函数，例如
pd.pivot_table(df,index=[‘menu‘,‘star‘],values=‘readCnt‘,columns=‘userLevel‘,aggfunc=[np.sum,len])

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

生成的DataFrame可以导出excel或csv文件

# pd.pivot_table(df,index=[‘menu‘,‘star‘],values=‘readCnt‘,columns=‘userLevel‘,aggfunc=[np.sum,len]).to_excel(‘pivot_table.xlsx‘)
# 这里生成的是DataFrame结构，可以直接将结果导出生成excel或者csv文件

修改index中的数据类型，显示完整的索引列

#  我们可以总结一下，index中一般是category类型，columns也是category类型，当然可以是能够代表category的数值，比如这里的离散数值，
#  values中一般是数值类型，aggfunc针对values中的值进行计算，这里我们可以
# 更改index与columns中的字段，并通过数据类型的变换，则可以将index中显示不全的信息显示完整。
df[‘menu‘]=df[‘menu‘].astype(‘category‘)
df[‘userLevel‘]=df[‘userLevel‘].astype(‘category‘)
df[‘star‘]=df[‘star‘].astype(‘category‘)
pd.pivot_table(df,index=[‘menu‘,‘userLevel‘],values=‘readCnt‘,columns=‘star‘,aggfunc=[np.sum,len])

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

63 rows × 10 columns

传入fill_value参数，处理缺失值

# 上面的例子虽然将index显示完整了，但是仍然有很多缺失值NaN(not a number),显示在这里给人感觉不舒服的话，可以在参数中传入fill_value，例如
pd.pivot_table(df,index=[‘userLevel‘,‘menu‘],values=‘readCnt‘,columns=‘star‘,aggfunc=[np.sum,len],fill_value=0)

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

63 rows × 10 columns

设添加margins参数，定margin_name名称

pd.pivot_table(df,index=[‘userLevel‘,‘menu‘],values=‘readCnt‘,columns=‘star‘,aggfunc=[len],fill_value=0,margins=True,margins_name=‘总计‘)
# 显示总计

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

64 rows × 6 columns

aggfunc传入字典，规定单个字段对应的聚合函数

df[‘star‘]=df[‘star‘].astype("int")
pd.pivot_table(df,index=[‘menu‘],columns=["userLevel"],values=["readCnt",‘star‘],
               aggfunc={"star":len,"readCnt":[np.sum]},fill_value=0)
#  可以aggfunc函数传入一个字典，规定单个字段对应的聚合函数

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

可以使用query 进行查询数据

table=pd.pivot_table(df,index=[‘menu‘],columns=["userLevel"],values=["readCnt",‘star‘],
               aggfunc={"star":len,"readCnt":[np.sum]})
table

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

高级的透视表查询语句

table.query("menu==[‘2人午晚餐‘,‘单人午晚餐‘]")

.dataframe tbody tr th:only-of-type { vertical-align: middle }
.dataframe tbody tr th { vertical-align: top }
.dataframe thead tr th { text-align: left }
.dataframe thead tr:last-of-type th { text-align: right }

至此，pandas中的透视表的功能实例实现完成

原文地址：https://www.cnblogs.com/onemorepoint/p/9508910.html