pandas分组后应用apply函数

pandas分组后应用apply函数

知识：Pandas的GroupBy遵从split、apply、combine模

这里的split指的是pandas的groupby，我们自己实现apply函数，apply返回的结果由pandas进行combine得到结果

GroupBy.apply(function)
function的第一个参数是dataframe
function的返回结果，可是dataframe、series、单个值，甚至和输入dataframe完全没关系

怎样对数值列按分组的归一化？

将不同范围的数值列进行归一化，映射到[0,1]区间：

更容易做数据横向对比，比如价格字段是几百到几千，增幅字段是0到100
机器学习模型学的更快性能更好
归一化的公式：

（当前值-最小值）/（最大值-最小值）

import pandas as pd

# 用户评分表
df_ratings = pd.read_csv(
    "./pandas/ant-learn-pandas/datas/movielens-1m/ratings.dat",
    sep="::",
    engine="python",
    names="UserID::MovieID::Rating::Timestamp".split("::")
)
print(df_ratings.head())


# 用户对电影评分的归一化
# 实现按照用户ID分组，然后对其中一列归一化
def ratings_norm(df):
    """
    @param df：每个用户分组的dataframe
    """
    min_value = df["Rating"].min()
    max_value = df["Rating"].max()
    df["Rating_norm"] = df["Rating"].apply(
        lambda x: (x - min_value) / (max_value - min_value))
    return df


ratings = df_ratings.groupby("UserID").apply(ratings_norm)
res = ratings[ratings["UserID"] == 1].head()
print(res)
'''
   UserID  MovieID  Rating  Timestamp  Rating_norm
0       1     1193       5  978300760          1.0
1       1      661       3  978302109          0.0
2       1      914       3  978301968          0.0
3       1     3408       4  978300275          0.5
4       1     2355       5  978824291          1.0
'''

# 获取2018年每个月温度最高的2天数据
df = pd.read_csv("./pandas/ant-learn-pandas/datas/beijing_tianqi/beijing_tianqi_2018.csv", engine='python',
                 encoding='utf-8')
print(df.head())
# 替换掉温度的后缀℃
df.loc[:, "bWendu"] = df["bWendu"].str.replace("℃", "").astype('int32')
df.loc[:, "yWendu"] = df["yWendu"].str.replace("℃", "").astype('int32')
# 新增一列为月份
df['month'] = df['ymd'].str[:7]


def getWenduTopN(df, topn):
    """
    这里的df，是每个月份分组group的df
    """
    # 根据最高温度排序，取日期和温度，默认是升序，所以取最后两个
    return df.sort_values(by="bWendu")[["ymd", "bWendu"]][-topn:]


# 根据月份分组
res2 = df.groupby("month").apply(getWenduTopN, topn=2).head()
print(res2)
'''
                   ymd  bWendu
month                         
2018-01 13  2018-01-14       6
        18  2018-01-19       7
2018-02 53  2018-02-23      10
        56  2018-02-26      12
2018-03 86  2018-03-28      25
'''