如何使用TensorFlow和預訓練模型來配置資料集以提高效能?


TensorFlow和預訓練模型可以使用`tf.Data`模組中存在的`AUTOTUNE`屬性來配置資料集以提高效能。緩衝預取用於確保可以從磁盤獲取資料,而不會使I/O成為阻塞操作。在訓練過程中,Dataset.prefetch()將重疊資料預處理和模型執行。

閱讀更多: 什麼是TensorFlow以及Keras如何與TensorFlow一起建立神經網路?

我們將瞭解如何藉助從預訓練網路進行遷移學習來對貓和狗的影像進行分類。

影像分類遷移學習背後的直覺是,如果一個模型在一個大型且通用的資料集上進行訓練,那麼這個模型可以有效地作為視覺世界的通用模型。它將學習特徵對映,這意味著使用者不必從頭開始在一個大型資料集上訓練大型模型。

閱讀更多: 如何預訓練自定義模型?

我們使用Google Colaboratory執行以下程式碼。Google Colab或Colaboratory有助於透過瀏覽器執行Python程式碼,無需任何配置,並且可以免費訪問GPU(圖形處理單元)。Colaboratory構建在Jupyter Notebook之上。

示例

AUTOTUNE = tf.data.AUTOTUNE
print("Configuring dataset for performance")
train_dataset = train_dataset.prefetch(buffer_size=AUTOTUNE)
validation_dataset = validation_dataset.prefetch(buffer_size=AUTOTUNE)
test_dataset = test_dataset.prefetch(buffer_size=AUTOTUNE)

程式碼來源 −https://www.tensorflow.org/tutorials/images/transfer_learning

輸出

Configuring dataset for performance

解釋

  • 可以使用緩衝預取從磁碟載入影像。
  • 這將避免I/O阻塞。

更新於:2021年2月25日

232 次瀏覽

啟動您的職業生涯

完成課程獲得認證

開始學習
廣告