时间序列 - 数据处理与可视化

时间序列是在等距时间间隔内索引的一系列观察值。因此，在任何时间序列中都应保持顺序和连续性。

我们将使用的数据集是一个多变量时间序列，包含一个意大利污染严重的城市大约一年的空气质量小时数据。该数据集可以从以下链接下载：https://archive.ics.uci.edu/ml/datasets/air+quality。

有必要确保：

时间序列是等距的，并且
其中没有冗余值或缺失值。

如果时间序列不连续，我们可以对其进行上采样或下采样。

显示 df.head()

In [122]

import pandas

In [123]

df = pandas.read_csv("AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]

In [124]

len(df)

Out[124]

In [125]

df.head()

Out[125]

为了预处理时间序列，我们确保数据集中没有 NaN（NULL）值；如果有，我们可以用 0 或平均值或前一个或后一个值替换它们。替换是优于删除的首选方法，以便保持时间序列的连续性。但是，在我们的数据集中，最后几个值似乎为 NULL，因此删除不会影响连续性。

删除 NaN（非数字）

In [126]

df.isna().sum()
Out[126]:
Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64

In [127]

df = df[df['Date'].notnull()]

In [128]

df.isna().sum()

Out[128]

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64

时间序列通常以折线图的形式绘制在时间轴上。为此，我们现在将合并日期和时间列，并将其从字符串转换为日期时间对象。这可以通过使用 datetime 库来实现。

转换为日期时间对象

In [129]

df['DateTime'] = (df.Date) + ' ' + (df.Time)
print (type(df.DateTime[0]))

<class 'str'>

In [130]

import datetime

df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))
print (type(df.DateTime[0]))

让我们看看一些变量（如温度）如何随着时间的变化而变化。

显示图表

In [131]

df.index = df.DateTime

In [132]

import matplotlib.pyplot as plt
plt.plot(df['T'])

Out[132]

[<matplotlib.lines.Line2D at 0x1eaad67f780>]

In [208]

plt.plot(df['C6H6(GT)'])

Out[208]

[<matplotlib.lines.Line2D at 0x1eaaeedff28>]

箱线图是另一种有用的图表类型，它允许您将大量数据集信息浓缩到一个图表中。它显示了一个或多个变量的平均值、25% 和 75% 分位数以及异常值。当异常值数量少且与平均值相距甚远时，我们可以通过将其设置为平均值或 75% 分位数来消除异常值。

显示箱线图

In [134]

plt.boxplot(df[['T','C6H6(GT)']].values)

Out[134]

{'whiskers': [<matplotlib.lines.Line2D at 0x1eaac16de80>,
   <matplotlib.lines.Line2D at 0x1eaac16d908>,
   <matplotlib.lines.Line2D at 0x1eaac177a58>,
   <matplotlib.lines.Line2D at 0x1eaac177cf8>],
   'caps': [<matplotlib.lines.Line2D at 0x1eaac16d2b0>,
   <matplotlib.lines.Line2D at 0x1eaac16d588>,
   <matplotlib.lines.Line2D at 0x1eaac1a69e8>,
   <matplotlib.lines.Line2D at 0x1eaac1a64a8>],
   'boxes': [<matplotlib.lines.Line2D at 0x1eaac16dc50>,
   <matplotlib.lines.Line2D at 0x1eaac1779b0>],
   'medians': [<matplotlib.lines.Line2D at 0x1eaac16d4a8>,
   <matplotlib.lines.Line2D at 0x1eaac1a6c50>],
   'fliers': [<matplotlib.lines.Line2D at 0x1eaac177dd8>,
   <matplotlib.lines.Line2D at 0x1eaac1a6c18>],'means': []
}

打印页面