Pandas | 18 GroupBy 分组

任何分组(groupby)操作都涉及原始对象的以下操作之一:

  • 分割对象
  • 应用一个函数
  • 结合的结果

在许多情况下，我们将数据分成多个集合，并在每个子集上应用一些函数。在应用函数中，可以执行以下操作:

  • 聚合 - 计算汇总统计
  • 转换 - 执行一些特定于组的操作
  • 过滤 - 在某些情况下丢弃数据

下面来看看创建一个DataFrame对象并对其执行所有操作 -

import pandas as pd

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}
df = pd.DataFrame(ipl_data)
print (df)

输出结果：

    Points  Rank    Team  Year
0      876     1  Riders  2014
1      789     2  Riders  2015
2      863     2  Devils  2014
3      673     3  Devils  2015
4      741     3   Kings  2014
5      812     4   kings  2015
6      756     1   Kings  2016
7      788     1   Kings  2017
8      694     2  Riders  2016
9      701     4  Royals  2014
10     804     1  Royals  2015
11     690     2  Riders  2017

一、将数据拆分成组

Pandas对象可以分成任何对象。有多种方式来拆分对象，如 -

  • obj.groupby(‘key’)
  • obj.groupby([‘key1’,’key2’])
  • obj.groupby(key,axis=1)

现在来看看如何将分组对象应用于DataFrame对象

示例

import pandas as pd

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
print (df.groupby(‘Team‘))

输出结果：

<pandas.core.groupby.DataFrameGroupBy object at 0x00000245D60AD518>

二、查看分组

import pandas as pd
ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
        ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
print (df.groupby(‘Team‘).groups)
输出结果：
{
‘Devils‘: Int64Index([2, 3], dtype=‘int64‘),
‘Kings‘: Int64Index([4, 6, 7], dtype=‘int64‘),
‘Riders‘: Int64Index([0, 1, 8, 11], dtype=‘int64‘),
‘Royals‘: Int64Index([9, 10], dtype=‘int64‘),
‘kings‘: Int64Index([5], dtype=‘int64‘)
}

按多列分组

import pandas as pd
ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
print (df.groupby([‘Team‘,‘Year‘]).groups)

输出结果：

{
(‘Devils‘, 2014): Int64Index([2], dtype=‘int64‘),
(‘Devils‘, 2015): Int64Index([3], dtype=‘int64‘),
(‘Kings‘, 2014): Int64Index([4], dtype=‘int64‘),
(‘Kings‘, 2016): Int64Index([6], dtype=‘int64‘),
(‘Kings‘, 2017): Int64Index([7], dtype=‘int64‘),
(‘Riders‘, 2014): Int64Index([0], dtype=‘int64‘),
(‘Riders‘, 2015): Int64Index([1], dtype=‘int64‘),
(‘Riders‘, 2016): Int64Index([8], dtype=‘int64‘),
(‘Riders‘, 2017): Int64Index([11], dtype=‘int64‘),
(‘Royals‘, 2014): Int64Index([9], dtype=‘int64‘),
(‘Royals‘, 2015): Int64Index([10], dtype=‘int64‘),
(‘kings‘, 2015): Int64Index([5], dtype=‘int64‘)
}

三、迭代遍历分组

使用groupby对象，可以遍历类似itertools.obj的对象。

import pandas as pd

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
grouped = df.groupby(‘Year‘)

for name,group in grouped:
    print (name)
    print (group)
    print (‘\n‘)

输出结果：

2014
   Points  Rank    Team  Year
0     876     1  Riders  2014
2     863     2  Devils  2014
4     741     3   Kings  2014
9     701     4  Royals  2014
2015
    Points  Rank    Team  Year
1      789     2  Riders  2015
3      673     3  Devils  2015
5      812     4   kings  2015
10     804     1  Royals  2015
2016
   Points  Rank    Team  Year
6     756     1   Kings  2016
8     694     2  Riders  2016
2017
    Points  Rank    Team  Year
7      788     1   Kings  2017
11     690     2  Riders  2017

默认情况下，groupby对象具有与分组名相同的标签名称。

四、选择一个分组

使用get_group()方法，可以选择一个组。参考以下示例代码 -

import pandas as pd

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
grouped = df.groupby(‘Year‘)
print (grouped.get_group(2014))

输出结果：

   Points  Rank    Team  Year
0     876     1  Riders  2014
2     863     2  Devils  2014
4     741     3   Kings  2014
9     701     4  Royals  2014

五、聚合

聚合函数为每个组返回单个聚合值。当创建了分组(group by)对象，就可以对分组数据执行多个聚合操作。

应用单个聚合函数

import pandas as pd
import numpy as np

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
grouped = df.groupby(‘Year‘)
print (grouped[‘Points‘].agg(np.mean))

输出结果：

Year
2014    795.25
2015    769.50
2016    725.00
2017    739.00
Name: Points, dtype: float64

另一种查看每个分组的大小的方法是应用size()函数 -

import pandas as pd
import numpy as np

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
grouped = df.groupby(‘Team‘)
print (grouped.agg(np.size))

输出结果：

Team
Devils       2     2     2
Kings        3     3     3
Riders       4     4     4
Royals       2     2     2
kings        1     1     1

一次应用多个聚合函数

通过分组系列，还可以传递函数的列表或字典来进行聚合，并生成DataFrame作为输出

import pandas as pd
import numpy as np

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)

print(df)
print(‘\n‘)

grouped = df.groupby(‘Team‘)
agg = grouped[‘Points‘].agg([np.sum, np.mean, np.std])
print (agg)

输出结果：

      Team  Rank  Year  Points0   Riders     1  2014     8761   Riders     2  2015     7892   Devils     2  2014     8633   Devils     3  2015     6734    Kings     3  2014     7415    kings     4  2015     8126    Kings     1  2016     7567    Kings     1  2017     7888   Riders     2  2016     6949   Royals     4  2014     70110  Royals     1  2015     80411  Riders     2  2017     690

         sum        mean         stdTeam                                Devils  1536  768.000000  134.350288Kings   2285  761.666667   24.006943Riders  3049  762.250000   88.567771Royals  1505  752.500000   72.831998kings    812  812.000000         NaN



六、转换


分组或列上的转换返回索引大小与被分组的索引相同的对象。因此，转换应该返回与组块大小相同的结果。


import pandas as pd
import numpy as np

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
grouped = df.groupby(‘Team‘)
score = lambda x: (x - x.mean()) / x.std()*10
print (grouped.transform(score))


输出结果：


       Points       Rank       Year
0   12.843272 -15.000000 -11.618950
1    3.020286   5.000000  -3.872983
2    7.071068  -7.071068  -7.071068
3   -7.071068   7.071068   7.071068
4   -8.608621  11.547005 -10.910895
5         NaN        NaN        NaN
6   -2.360428  -5.773503   2.182179
7   10.969049  -5.773503   8.728716
8   -7.705963   5.000000   3.872983
9   -7.071068   7.071068  -7.071068
10   7.071068  -7.071068   7.071068
11  -8.157595   5.000000  11.618950




七、过滤


过滤根据定义的标准过滤数据并返回数据的子集。filter()函数用于过滤数据。


import pandas as pd
import numpy as np
ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
filter = df.groupby(‘Team‘).filter(lambda x: len(x) >= 3)
print (filter)


输出结果：


    Points  Rank    Team  Year
0      876     1  Riders  2014
1      789     2  Riders  2015
4      741     3   Kings  2014
6      756     1   Kings  2016
7      788     1   Kings  2017
8      694     2  Riders  2016
11     690     2  Riders  2017




在上述过滤条件下，要求返回三次以上参加IPL的队伍。



原文地址：https://www.cnblogs.com/Summer-skr--blog/p/11705892.html
				


				
时间： 2024-09-30 00:24:53 

		


		


	

	
	

		


		
Pandas | 18 GroupBy 分组的相关文章


								

		

			

                python处理数据的风骚操作[pandas 之 groupby&amp;agg]
			

		

		

									

				https://segmentfault.com/a/1190000012394176 介绍 每隔一段时间我都会去学习.回顾一下python中的新函数.新操作.这对于你后面的工作是有一定好处的.本文重点介绍了pandas中groupby.Grouper和agg函数的使用.这2个函数作用类似,都是对数据集中的一类属性进行聚合操作,比如统计一个用户在每个月内的全部花销,统计某个属性的最大.最小.累和.平均等数值. 其中,agg是pandas 0.20新引入的功能 groupby && Grou			

		

	

				

		

			

                Pandas Cookbook -- 07 分组聚合、过滤、转换
			

		

		

									

				分组聚合.过滤.转换 简书大神SeanCheney的译作,我作了些格式调整和文章目录结构的变化,更适合自己阅读,以后翻阅是更加方便自己查找吧 import pandas as pd import numpy as np 设定最大列数和最大行数 pd.set_option('max_columns',8 , 'max_rows', 8) 1 聚合 读取flights数据集,查询头部 flights = pd.read_csv('data/flights.csv') flights.head() .			

		

	

				

		

			

                Pandas 的groupby操作
			

		

		

									

				本文和大家分享的主要是Pandas 的groupby操作相关内容,一起来看看吧,希望对大家学习Pandas有所帮助. 在做数据分析的时候,我们的数据一般从数据库来,那么就涉及到groupby操作.例如,我们要预测一个居民小区的未来一段时间的电费,那么就要将数据按照小区groupby,然后按照时间排序,这里groupby操作可完美的完成这个任务. 假设数据表cellfee结构为: reportdate, cidyid, cellid, fee. 读取表数据 import pandas as pdf			

		

	

				

		

			

                c# Linq及Lamda表达式应用经验之 GroupBy 分组
			

		

		

									

				本文转载自:http://www.cnblogs.com/han1982/p/4138163.html 示例1: GroupBy 分组在List<>泛型中的应用 原表: 按姓名Name 分组后结果: 对DATATABLE 进行LAMDA查询时必须在项目的引用中添加 System.Data.DataSetExtensions 代码: public partial class Form1 : Form { public Form1() { InitializeComponent(); } List			

		

	

				

		

			

                (转)c# Linq及Lamda表达式应用经验之 GroupBy 分组
			

		

		

									

				本文转载自:http://www.cnblogs.com/han1982/p/4138163.html 示例1: GroupBy 分组在List<>泛型中的应用 原表: 按姓名Nam 分组后结果: 对DATATABLE 进行LAMDA查询时必须在项目的引用中添加 System.Data.DataSetExtensions 代码: public partial class Form1 : Form { public Form1() { InitializeComponent(); } List&			

		

	

				

		

			

                c# Linq及Lambda表达式应用经验之 GroupBy 分组  count ,排序
			

		

		

									

				引用:http://www.cnblogs.com/han1982/p/4138163.html 示例1: GroupBy 分组在List<>泛型中的应用 原表: 按姓名Nam 分组后结果: 对DATATABLE 进行LAMDA查询时必须在项目的引用中添加 System.Data.DataSetExtensions public partial class Form1 : Form { public Form1() { InitializeComponent(); } List<Pers			

		

	

				

		

			

                pandas中的分组技术
			

		

		

									

				目录 1  分组操作 1.1  按照列进行分组 1.2  按照字典进行分组 1.3  根据函数进行分组 1.4  按照list组合 1.5  按照索引级别进行分组 2  分组运算 2.1  agg 2.2  transform 2.3  apply 3  利用groupby技术多进程处理DataFrame 我们在这里要讲一个很常用的技术, 就是所谓的分组技术, 这个在数据库中是非常常用的, 要去求某些分组的统计量, 那么我们需要知道在pandas里面, 这些分组技术是怎么实现的. 分组操作 我们			

		

	

				

		

			

                pandas聚合和分组运算之groupby
			

		

		

									

				pandas提供了一个灵活高效的groupby功能,它使你能以一种自然的方式对数据集进行切片.切块.摘要等操作.根据一个或多个键(可以是函数.数组或DataFrame列名)拆分pandas对象.计算分组摘要统计,如计数.平均值.标准差,或用户自定义函数.对DataFrame的列应用各种各样的函数.应用组内转换或其他运算,如规格化.线性回归.排名或选取子集等.计算透视表或交叉表.执行分位数分析以及其他分组分析. 1.首先来看看下面这个非常简单的表格型数据集(以DataFrame的形式): impo			

		

	

				

		

			

                第十三节：pandas之groupby（）分组
			

		

		

									

				1.Series()对象分组 1.1.单级索引 1.2.多级索引 2.DataFrame()对象分组 原文地址:https://www.cnblogs.com/zhaco/p/10323755.html