如何使用Tensorflow和预训练模型来确定数据集中的批次数量?


Tensorflow 可以与预训练模型一起使用,通过 `tf.data.experimental` 模块中的 `cardinality` 方法来确定数据集中的批次数量。

阅读更多: 什么是 TensorFlow 以及 Keras 如何与 TensorFlow 一起创建神经网络?

我们将了解如何借助从预训练网络进行的迁移学习来对猫和狗的图像进行分类。

图像分类迁移学习背后的直觉是,如果一个模型在一个大型且通用的数据集上进行训练,那么这个模型可以有效地用作视觉世界的通用模型。它将学习特征图,这意味着用户无需从头开始在大型数据集上训练大型模型。

阅读更多: 如何对自定义模型进行预训练?

我们使用 Google Colaboratory 来运行以下代码。Google Colab 或 Colaboratory 帮助在浏览器上运行 Python 代码,无需任何配置,并且可以免费访问 GPU(图形处理单元)。Colaboratory 是建立在 Jupyter Notebook 之上的。

示例

print("Number of batches in the data is determined")
val_batches = tf.data.experimental.cardinality(validation_dataset)
test_dataset = validation_dataset.take(val_batches // 5)
validation_dataset = validation_dataset.skip(val_batches // 5)
print('Number of validation batches are: %d' % tf.data.experimental.cardinality(validation_dataset))
print('Number of test batches are: %d' % tf.data.experimental.cardinality(test_dataset)

代码来源 −https://tensorflowcn.cn/tutorials/images/transfer_learning

输出

Number of batches in the data is determined
Number of validation batches are: 21
Number of test batches are: 5

解释

  • 原始数据集没有测试集。
  • 因此,它被创建了。
  • 为此,确定了可用数据的批次数量。
  • 完成此操作后,将 20% 的数据移动到测试数据集。

更新于: 2021年2月25日

165 次浏览

开启你的 职业生涯

通过完成课程获得认证

开始学习
广告

© . All rights reserved.