什麼是反向傳播演算法？

反向傳播定義了整個過程，包括梯度的計算及其在隨機梯度下降中的作用。從技術上講，反向傳播用於計算網路誤差關於網路可修改權重的梯度。

反向傳播的特點是其迭代的、遞迴的和有效的方法，透過這種方法計算更新後的權重以提高網路效能，直到它無法實現其訓練目標的服務。反向傳播需要在網路設計時已知的啟用函式的導數。

反向傳播廣泛用於神經網路訓練，並計算網路權重的損失函式。它可用於多層神經網路並發現輸入-輸出對映的內部描述。

它是一種標準的人工網路訓練形式，它支援計算網路中所有權重的梯度損失函式。反向傳播演算法透過鏈式法則更有效地訓練神經網路。

這個梯度用於簡單的隨機梯度下降演算法來尋找最小化誤差的權重。誤差從輸出節點反向傳播到內部節點。

反向傳播的訓練演算法包括四個階段，如下所示：

• 權重初始化 - 分配一些小的隨機值。

• 前饋 - 每個單元X接收輸入訊號並將此訊號傳遞到每個隱藏單元Z₁、Z₂……Z_n。每個隱藏單元計算啟用函式並將它的訊號Z_j傳送到每個輸出單元。輸出單元計算啟用函式以形成給定輸入模式的響應。

• 誤差反向傳播 - 每個輸出單元將啟用Y_k與目標值T_k進行比較，以確定該單元的關聯誤差。基於誤差，計算因子$\delta$_k（K = 1，……，m），並將其用於將輸出單元Y_k處的誤差反向傳播到前一層的所有單元。類似地，比較每個隱藏單元Z_j的因子$\delta$_j（j = 1，……，p）。

• 它可以更新權重和偏差。

反向傳播的型別

反向傳播有兩種型別，如下所示：

靜態反向傳播 - 在這種型別的反向傳播中，由於靜態輸入的對映而建立靜態輸出。它用於解決靜態分類問題，例如光學字元識別。

遞迴反向傳播 - 遞迴傳播向前或向後進行，直到獲得特定確定的值或閾值。在獲得某個值後，評估誤差並將其反向傳播。

Ginni

更新於：2022年2月15日

4K+ 次瀏覽

開啟你的職業生涯

透過完成課程獲得認證

開始學習