如何使用TensorFlow和预训练网络,即迁移学习来加载数据?
TensorFlow可以使用预训练网络进行迁移学习来加载数据,方法是使用Keras包中的`get_file`方法。Google API保存数据集,可以将其作为参数传递给`get_file`方法,以便将数据集下载到当前环境。
阅读更多: 什么是TensorFlow以及Keras如何与TensorFlow一起创建神经网络?
我们将了解如何借助来自预训练网络的迁移学习来对猫和狗的图像进行分类。
图像分类迁移学习背后的直觉是,如果一个模型在大型通用数据集上进行训练,则该模型可以有效地用作视觉世界的通用模型。它已经学习了特征图,这意味着用户不必从头开始在一个大型数据集上训练大型模型。
阅读更多: 如何预训练定制模型?
我们使用Google Colaboratory运行以下代码。Google Colab或Colaboratory帮助在浏览器上运行Python代码,无需任何配置,并可免费访问GPU(图形处理单元)。Colaboratory构建在Jupyter Notebook之上。
示例
import matplotlib.pyplot as plt import numpy as np import os import tensorflow as tf from tensorflow.keras.preprocessing import image_dataset_from_directory _URL = 'https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip' path_to_zip = tf.keras.utils.get_file('cats_and_dogs.zip', origin=_URL, extract=True) PATH = os.path.join(os.path.dirname(path_to_zip), 'cats_and_dogs_filtered') print("Downloading the data") train_dir = os.path.join(PATH, 'train') validation_dir = os.path.join(PATH, 'validation') BATCH_SIZE = 32 IMG_SIZE = (160, 160)
代码来源 −https://tensorflowcn.cn/tutorials/images/transfer_learning
输出
Downloading data from https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip 68608000/68606236 [==============================] - 1s 0us/step Downloading the data
解释
在这个数据集中,我们有数千张猫和狗的图像。
它们已下载并从zip文件中解压。
创建了一个`tf.data.Dataset`,用于训练和验证。
这是借助`tf.keras.preprocessing.image_dataset_from_directory`实用程序完成的。
广告