如何使用TensorFlow和预训练模型来配置数据集以提高性能?


TensorFlow和预训练模型可以使用`tf.Data`模块中存在的`AUTOTUNE`属性来配置数据集以提高性能。缓冲预取用于确保可以从磁盘获取数据,而不会使I/O成为阻塞操作。在训练过程中,Dataset.prefetch()将重叠数据预处理和模型执行。

阅读更多: 什么是TensorFlow以及Keras如何与TensorFlow一起创建神经网络?

我们将了解如何借助从预训练网络进行迁移学习来对猫和狗的图像进行分类。

图像分类迁移学习背后的直觉是,如果一个模型在一个大型且通用的数据集上进行训练,那么这个模型可以有效地作为视觉世界的通用模型。它将学习特征映射,这意味着用户不必从头开始在一个大型数据集上训练大型模型。

阅读更多: 如何预训练自定义模型?

我们使用Google Colaboratory运行以下代码。Google Colab或Colaboratory有助于通过浏览器运行Python代码,无需任何配置,并且可以免费访问GPU(图形处理单元)。Colaboratory构建在Jupyter Notebook之上。

示例

AUTOTUNE = tf.data.AUTOTUNE
print("Configuring dataset for performance")
train_dataset = train_dataset.prefetch(buffer_size=AUTOTUNE)
validation_dataset = validation_dataset.prefetch(buffer_size=AUTOTUNE)
test_dataset = test_dataset.prefetch(buffer_size=AUTOTUNE)

代码来源 −https://tensorflowcn.cn/tutorials/images/transfer_learning

输出

Configuring dataset for performance

解释

  • 可以使用缓冲预取从磁盘加载图像。
  • 这将避免I/O阻塞。

更新于:2021年2月25日

232 次浏览

启动您的职业生涯

完成课程获得认证

开始学习
广告