如何使用 Python 和 TensorFlow 配置 Stack Overflow 問題資料集?


TensorFlow 是 Google 提供的一個機器學習框架。它是一個開源框架,與 Python 結合使用以實現演算法、深度學習應用程式等等。它用於研究和生產目的。它具有最佳化技術,有助於快速執行復雜的數學運算。這是因為它使用了 NumPy 和多維陣列。這些多維陣列也稱為“張量”。

該框架支援使用深度神經網路。它具有高度可擴充套件性,並附帶許多流行的資料集。它使用 GPU 計算並自動管理資源。它附帶大量機器學習庫,並且得到良好的支援和記錄。該框架能夠執行深度神經網路模型,訓練它們,並建立預測相應資料集相關特徵的應用程式。

可以使用以下程式碼行在 Windows 上安裝“tensorflow”包:

pip install tensorflow

張量是 TensorFlow 中使用的資料結構。它有助於在流程圖中連線邊。這個流程圖稱為“資料流圖”。張量只不過是多維陣列或列表。可以使用三個主要屬性來識別它們:

  • - 它說明了張量的維度。可以理解為張量的階數或已定義的張量中的維度數。

  • 型別 - 它說明了與張量元素關聯的資料型別。它可以是一維、二維或 n 維張量。

  • 形狀 - 它是行數和列數的總和。

我們正在使用 Google Colaboratory 來執行以下程式碼。Google Colab 或 Colaboratory 幫助在瀏覽器上執行 Python 程式碼,並且無需任何配置即可免費訪問 GPU(圖形處理單元)。Colaboratory 基於 Jupyter Notebook 構建。

示例

以下是程式碼片段:

AUTOTUNE = tf.data.experimental.AUTOTUNE
print("The configure_dataset method is defined")
def configure_dataset(dataset):
   return dataset.cache().prefetch(buffer_size=AUTOTUNE)

print("The function is called on training dataset")
binary_train_ds = configure_dataset(binary_train_ds)
print("The function is called on validation dataset")
binary_val_ds = configure_dataset(binary_val_ds)
print("The function is called on test dataset")
binary_test_ds = configure_dataset(binary_test_ds)

int_train_ds = configure_dataset(int_train_ds)
int_val_ds = configure_dataset(int_val_ds)
int_test_ds = configure_dataset(int_test_ds)

程式碼來源 - https://www.tensorflow.org/tutorials/load_data/text

輸出

The configure_dataset method is defined
The function is called on training dataset
The function is called on validation dataset
The function is called on test dataset

解釋

  • 定義兩種方法以確保在載入資料時輸入或輸出不會阻塞非常重要。

  • “cache”方法即使在從磁碟載入資料後也會將其儲存在記憶體中。

  • 這確保了資料在訓練過程中不會成為障礙。

  • “prefetch”方法在訓練過程中過載資料預處理和模型執行。

更新於: 2021年1月18日

98 次檢視

開啟你的 職業生涯

透過完成課程獲得認證

立即開始
廣告

© . All rights reserved.