如何使用TensorFlow和预训练网络,即迁移学习来加载数据?


TensorFlow可以使用预训练网络进行迁移学习来加载数据,方法是使用Keras包中的`get_file`方法。Google API保存数据集,可以将其作为参数传递给`get_file`方法,以便将数据集下载到当前环境。

阅读更多: 什么是TensorFlow以及Keras如何与TensorFlow一起创建神经网络?

我们将了解如何借助来自预训练网络的迁移学习来对猫和狗的图像进行分类。

图像分类迁移学习背后的直觉是,如果一个模型在大型通用数据集上进行训练,则该模型可以有效地用作视觉世界的通用模型。它已经学习了特征图,这意味着用户不必从头开始在一个大型数据集上训练大型模型。

阅读更多: 如何预训练定制模型?

我们使用Google Colaboratory运行以下代码。Google Colab或Colaboratory帮助在浏览器上运行Python代码,无需任何配置,并可免费访问GPU(图形处理单元)。Colaboratory构建在Jupyter Notebook之上。

示例

import matplotlib.pyplot as plt
import numpy as np
import os
import tensorflow as tf
from tensorflow.keras.preprocessing import image_dataset_from_directory
_URL = 'https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip'
path_to_zip = tf.keras.utils.get_file('cats_and_dogs.zip', origin=_URL, extract=True)
PATH = os.path.join(os.path.dirname(path_to_zip), 'cats_and_dogs_filtered')
print("Downloading the data")
train_dir = os.path.join(PATH, 'train')
validation_dir = os.path.join(PATH, 'validation')
BATCH_SIZE = 32
IMG_SIZE = (160, 160)

代码来源 −https://tensorflowcn.cn/tutorials/images/transfer_learning

输出

Downloading data from https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip
68608000/68606236 [==============================] - 1s 0us/step
Downloading the data

解释

  • 在这个数据集中,我们有数千张猫和狗的图像。

  • 它们已下载并从zip文件中解压。

  • 创建了一个`tf.data.Dataset`,用于训练和验证。

  • 这是借助`tf.keras.preprocessing.image_dataset_from_directory`实用程序完成的。

更新于: 2021年2月25日

85 次浏览

启动您的职业生涯

完成课程获得认证

开始学习
广告