Keras深度学习 - 数据准备

---

---

在将数据馈送到网络之前，必须将其转换为网络所需的格式。这称为为网络准备数据。它通常包括将多维输入转换为单维向量并对数据点进行归一化。

重塑输入向量

我们数据集中的图像由 28 x 28 像素组成。这必须转换为大小为 28 * 28 = 784 的单维向量，以便将其馈送到我们的网络中。我们通过对向量调用reshape方法来做到这一点。

X_train = X_train.reshape(60000, 784)
X_test = X_test.reshape(10000, 784)

现在，我们的训练向量将包含 60000 个数据点，每个数据点都包含一个大小为 784 的单维向量。类似地，我们的测试向量将包含 10000 个大小为 784 的单维向量数据点。

数据归一化

输入向量当前包含的数据具有介于 0 和 255 之间的离散值 - 灰度等级。将这些像素值归一化到 0 到 1 之间有助于加快训练速度。由于我们将使用随机梯度下降，因此归一化数据还有助于减少陷入局部最优解的可能性。

为了归一化数据，我们将它表示为浮点类型并将其除以 255，如下面的代码片段所示：

X_train = X_train.astype('float32')
X_test = X_test.astype('float32')
X_train /= 255
X_test /= 255

现在让我们看看归一化后的数据是什么样的。

检查归一化数据

要查看归一化后的数据，我们将调用直方图函数，如下所示：

plot.hist(X_train[0])
plot.title("Digit: {}".format(y_train[0]))

在这里，我们绘制了X_train向量的第一个元素的直方图。我们还打印了此数据点表示的数字。运行上述代码的输出如下所示：

你会注意到，值接近零的点的密度很大。这些是图像中的黑色点，显然是图像的主要部分。其余接近白色的灰度点表示数字。您可以查看另一个数字的像素分布。下面的代码打印训练数据集中索引为 2 的数字的直方图。

plot.hist(X_train[2])
plot.title("Digit: {}".format(y_train[2])

运行上述代码的输出如下所示：

比较以上两图，你会注意到两幅图像中白色像素的分布不同，表明表示不同的数字——上面两幅图中的“5”和“4”。

接下来，我们将检查我们完整训练数据集中数据的分布。

检查数据分布

在我们使用数据集训练机器学习模型之前，我们应该了解数据集中唯一数字的分布。我们的图像表示从 0 到 9 的 10 个不同数字。我们想知道数据集中数字 0、1 等的数量。我们可以使用 NumPy 的unique方法获取此信息。

使用以下命令打印唯一值的个数以及每个值的出现次数：

print(np.unique(y_train, return_counts=True))

运行上述命令时，你会看到以下输出：

(array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], dtype=uint8), array([5923, 6742, 5958, 6131, 5842, 5421, 5918, 6265, 5851, 5949]))

它显示有 10 个不同的值——0 到 9。数字 0 出现 5923 次，数字 1 出现 6742 次，依此类推。输出的屏幕截图如下所示：

作为数据准备的最后一步，我们需要对数据进行编码。

数据编码

我们的数据集中有十个类别。因此，我们将使用独热编码将我们的输出编码到这十个类别中。我们使用 NumPy 实用程序的 to_categorical 方法进行编码。输出数据编码后，每个数据点将转换为大小为 10 的单维向量。例如，数字 5 现在将表示为 [0,0,0,0,0,1,0,0,0,0]。

使用以下代码段对数据进行编码：

n_classes = 10
Y_train = np_utils.to_categorical(y_train, n_classes)

您可以通过打印分类后的 Y_train 向量的前 5 个元素来查看编码的结果。

使用以下代码打印前 5 个向量：

for i in range(5):
   print (Y_train[i])

你会看到以下输出：

[0. 0. 0. 0. 0. 1. 0. 0. 0. 0.]
[1. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 1. 0. 0. 0. 0. 0.]
[0. 1. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 1.]

第一个元素表示数字 5，第二个元素表示数字 0，依此类推。

最后，你还必须对测试数据进行分类，这可以使用以下语句完成：

Y_test = np_utils.to_categorical(y_test, n_classes)

在这个阶段，你的数据已完全准备好馈送到网络中。

接下来是最重要的部分，那就是训练我们的网络模型。