pandas数据分组聚合

数据分组就是根据一个或多个键（可以是函数、数组或df列名）将数据分成若干组，然后对分组后的数据分别进行汇总计算，并将汇总计算后的结果进行合并，被用作汇总计算的函数称为聚合函数。数据分组的具体分组流程如下图所示

在Python中对数据分组利用的是**groupby()**方法：

DataFrame.groupby (by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True,=False, **kwargs)

分组键是列名时直接将某一列或多列的列名传给groupby()方法，groupby()方法就会按照这一列或多列进行分组。

从上面的结果可以看出，如果只是传入列名，运行groupby()方法以后返回的不是一个DataFrame对象，而是一个DataFrameGroupBy对象，这个对象里面包含着分组以后的若干组数据，但是没有直接显示出来，需要对这些分组数据进行汇总计算以后才会展示出来。

通过调用get_group( )函数可以返回一个按照分组得到的DataFrame对象,如果想让这个DataFrame对象的索引重新定义可以通过set_index()方法

由于对分组后的数据进行了计数运算，因此每一列都会有一个结果，但是如果对分组后的结果做一些数值运算，这个时候就只有数据类型是数值（int、float）的列才会参与运算，比如下面的求和运算。

我们把这种对分组后的数据进行汇总运算的操作称为聚合，使用的函数称为聚合函数

上面分组键是某一列，即按照一列进行分组，也可以按照多列进行分组，只要**将多个列名以列表的形式传给groupby()**即可，汇总计算方式与按照单列进行分组以后数据运算的方式一致。

无论分组键是一列还是多列，只要直接在分组后的数据上进行汇总计算，就是对所有可以计算的列进行计算。有的时候我们不需要对所有列进行计算，这个时候就可以把想要计算的列（可以是单列，也可以是多列）通过索引的方式取出来，然后在取出来这列数据的基础上进行汇总计算。

把DataFrame的其中一列取出来就是一个Series

分组键是列名与分组键是Series的唯一区别就是，给groupby()方法传入了什么，其他都一样。可以按照一个或多个Series进行分组，分组以后的汇总计算也是完全一样的，也支持对分组以后的某些列进行汇总计算

对分组后的某些列进行汇总运算

（1）根据DataFrame本身的某一列或多列内容进行分组聚合:

（a）若按某一列聚合，则新DataFrame将根据某一列的内容分为不同的维度进行拆解，同时将同一维度的再进行聚合， （b）若按某多列聚合，则新DataFrame将是多列之间维度的笛卡尔积，即：新DataFrame具有一个层次化索引（由唯一的键对组成），例如：“key1”列，有a和b两个维度，而“key2”有one和two两个维度，则按“key1”列和“key2”聚合之后，新DataFrame将有四个group； （c）通过调用get_group()函数可以返回一个按照分组得到的DataFrame对象，该对象是分组中的一种情况； （d）可以将想要计算的列（可以是单列，也可以是多列）通过索引的方式取出来，然后在取出来这列数据的基础上进行汇总计算。eg：df.groupby(“状态”)[“区”]、df.groupby(“状态”)[[“区”,“省”]]

注意：groupby默认是在axis=0上进行分组的，通过设置axis=1，也可以在其他任何轴上进行分组。

（2）GroupBy对象结合描述统计方法从各个分组中产生标量值：

（a）这个标量值可以是平均值、数量、中位数等。GroupBy对象常用的描述性统计方法如下表所示：

pandas提供了多种分组运算方法，包括aggregate、apply和transform，它们的用法各有不同，适用于不同的场景。

前面用到的聚合函数都是直接在DataFrameGroupBy上调用的，这样分组以后所有列做的都是同一种汇总运算，且一次只能使用一种汇总方式。

aggregate的神奇之处在于，一次可以使用多种汇总方式，比如下面的例子先对分组后的所有列做计数汇总运算，然后对所有列做求和汇总运算。

aggregate方法是一个既能作用于Series、DataFrame，也能作用于GroupBy的聚合方法。aggregate方法接收函数并应用于每个分组，返回标量值，其基本语法格式如下

Groupby.aggregate(func,axis=0,*args,**kwargs)

aggregate可以针对不同的列做不同的汇总运算，比如下面的例子，我们想看不同状态的商品SKU信息有多少，那么对商品SKU信息进行计数；我们想看不同状态的实际价格，则需要对销量进行求和。

apply方法是一个既能接收返回标量值的函数，又能接收返回数组的函数的聚合方法,功能更加强大。而aggregate方法仅能接收返回标量值的函数。

apply方法的基本语法格式如下：

DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, *args, **kwargs)

虽然apply传入的函数的是整个子数据帧，但是apply仍能用df.group(‘XXX’)[‘列名’].apply的形式来指定列

如果希望返回的结果不以分组键为索引，通过group_keys=False可以完成

aggregate(func,axis=0,*args,**kwargs)

使用transform方法需要注意以下事项： （1）返回值与组大小相同或可以广播大组大小 （2）只能在组上逐列操作 （3）不能修改组里的元素，如用fillna方法填充时，不能设置inplace=True

transform方法只能传入函数和匿名函数，这个函数的形参和aggregate一样，是每个子数据帧的每个列，但是输出的却是向量。因此这个用了transform函数之后，每个子数据帧返回每个子数据帧原有的行数，aggregate聚合方法的每个子数据帧最后都只能返回一行，因为聚合函数传入的每一列都只能返回一个数。

88 rows × 6 columns

transform方法也可以指定列操作 聚合与转换的主要区别就是转换的函数主要应用于值得计算，聚合的函数主要应用于值的统计

根据指定的过滤条件，获取DataFrame符合条件的子数据集

filter(item=None,like=None,regex=None,axis=None)

注意 ：item, like, regex, axis不能同时使用