37.pandas时间序列01

现在我们有2015到2017年25万条911的紧急电话的数据，请统计出出这些数据中不同类型的紧急情况的次数，如果我们还想统计出不同月份不同类型紧急电话的次数的变化情况，应该怎么做呢？

import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

df  = pd.read_csv("/Users/zhucan/Desktop/911.csv")

temp_list = df["title"].str.split(": ").tolist()
cate_list = list(set([i[0] for i in temp_list]))

zeros_df = pd.DataFrame(np.zeros((df.shape[0],len(cate_list))),columns = cate_list)

for cate in cate_list:
    zeros_df[cate][df["title"].str.contains(cate)] = 1
    print(zeros_df)
sum_ret = zeros_df.sum(axis=0)
print(sum_ret)

pandas时间序列

不管在什么行业，时间序列都是一种非常重要的数据形式，很多统计数据以及数据的规律也都和时间序列有着非常重要的联系 而且在pandas中处理时间序列是非常简单的 

pd.date_range(start=None, end=None, periods=None, freq='D')     ——     生成一段时间范围

回到最开始的911数据的案例中，我们可以使用pandas提供的方法把时间字符串转化为时间序列 df["timeStamp"] = pd.to_datetime(df["timeStamp"],format="")

format参数大部分情况下可以不用写，但是对于pandas无法格式化的时间字符串，我们可以使用该参数，比如包含中文

38.pandas时间序列02

pandas重采样

重采样：指的是将时间序列从一个频率转化为另一个频率进行处理的过程，将高频率数据转化为低频率数据为降采样，低频率转化为高频率为升采样

pandas提供了一个resample的方法来帮助我们实现频率转化

1. 统计出911数据中不同月份电话次数的变化情况
2. 统计出911数据中不同月份不同类型的电话的次数的变化情况  

import time
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

df = pd.read_csv("/Users/zhucan/Desktop/911.csv")
df["timeStamp"] = pd.to_datetime(df["timeStamp"])

df.set_index("timeStamp",inplace=True)

#统计出911数据中不同月份电话次数的变化情况
count_by_month = df.resample("M").count()["title"]
print(count_by_month)

#画图
_x = count_by_month.index
_y = count_by_month.values

_x = [time.strftime("%Y%m%d") for i in _x]

plt.figure(figsize=(20,8),dpi=80)
plt.plot(range(len(_x)),_y)
plt.xticks(range(len(_x)),_x,rotation=45)
plt.show()

import time
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

df = pd.read_csv("/Users/zhucan/Desktop/911.csv")
df["timeStamp"] = pd.to_datetime(df["timeStamp"])

temp_list = df["title"].str.split(": ").tolist()
cate_list = [i[0] for i in temp_list]
df["cate"] =pd.DataFrame(np.array(cate_list).reshape((df.shape[0],1)))

df.set_index("timeStamp",inplace=True)

plt.figure(figsize=(20,8),dpi=80)

for group_name,group_data in df.groupby(by="cate"):
    count_by_month = group_data.resample("M").count()["title"]
    _x = count_by_month.index
    _y = count_by_month.values
    _x = [i.strftime("%Y%m%d") for i in _x]
    plt.plot(range(len(_x)),_y,label=group_name)
plt.xticks(range(len(_x)),_x,rotation=45)
plt.legend(loc="best")
plt.show()

39.pandas案例

现在我们有北上广、深圳、和沈阳5个城市空气质量数据，请绘制出5个城市的PM2.5随时间的变化情况

import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

df = pd.read_csv("/Users/zhucan/Desktop/BeijingPM20100101_20151231.csv")

period=pd.PeriodIndex(year=df["year"],month=df["month"],day=df["day"],hour=df["hour"],freq="H")
df["datetime"] = period

df.set_index("datetime",inplace=True)

#进行降采样
df = df.resample("7D").mean()

#处理缺失数据，删除缺失数据
data = df["PM_US Post"].dropna()

#画图
_x = data.index
_y = data.values

plt.figure(figsize=(20,8),dpi=80)
plt.plot(range(len(_x)),_y)
plt.xticks(range(0,len(_x),10),list(_x)[::10],rotation=45)
plt.show()