神經網路訓練建議

本章將介紹可以使用 TensorFlow 框架實現的神經網路訓練的各個方面。

以下是十條可以評估的建議：

反向傳播

反向傳播是一種計算偏導數的簡單方法，它包括最適合神經網路的基本組合形式。

隨機梯度下降

在隨機梯度下降中，一個批次是使用者在單次迭代中用來計算梯度的示例總數。到目前為止，假設批次是整個資料集。最好的例子是在谷歌規模的工作；資料集通常包含數十億甚至數百億個示例。

學習率衰減

調整學習率是梯度下降最佳化的最重要特性之一。這對於 TensorFlow 實現至關重要。

Dropout

具有大量引數的深度神經網路構成了強大的機器學習系統。但是，過擬合是此類網路中的一個嚴重問題。

最大池化

最大池化是一種基於樣本的離散化過程。目的是對輸入表示進行下采樣，這在所需的假設下降低了維度。

長短期記憶 (LSTM)

LSTM 控制著關於在指定神經元中應採用哪些輸入的決策。它包括控制哪些應該計算以及應該生成哪些輸出。