人工神經網路中的學習規則型別

---

ANN 或人工神經網路是從生物神經網路（以人腦為主要單元）中獲得靈感而開發的計算系統。這些神經網路藉助遵循某種學習規則的訓練來實現功能。

ANN 中的學習規則不過是一組指令或數學公式，有助於強化模式，從而提高神經網路的效率。神經網路廣泛使用 6 種此類學習規則進行訓練。

赫布學習規則

赫布學習規則由唐納德·赫佈於 1949 年提出，是一種無監督學習規則，其工作原理是根據兩個神經元啟用的乘積來調整它們之間的權重。

根據此規則，如果兩個神經元朝相反方向工作，則它們之間的權重會降低，反之亦然。但是，如果訊號之間沒有相關性，則權重保持不變。至於權重所帶的符號，當兩個節點均為正或均為負時，它為正。但是，如果一個節點為正或為負，則權重帶有負號。

公式

Δw = αxiy

其中，

• Δw 是權重的變化

• α 是學習率

• xi 是輸入向量，並且，

• y 是輸出

感知器學習規則

感知器學習規則由羅森布拉特提出，是一種誤差修正規則，用於單層前饋網路。與赫布學習規則一樣，它也是一種監督學習規則。

此規則透過查詢實際輸出和期望輸出之間的差異並根據該差異調整權重來工作。自然地，該規則需要輸入一組向量以及權重，以便它可以產生輸出。

公式

w = w + η(y -ŷ)x

• w 是權重

• η 是學習率

• x 是輸入向量

• y 是輸入向量的實際標籤

• ŷ 是輸入向量的預測標籤

相關學習規則

與赫布規則的原理類似，校正規則也根據兩個神經元的相位來增加或減少權重。

如果神經元彼此處於相反的相位，則權重應朝負方向，如果它們彼此處於相同的相位，則權重應朝正方向。使此規則與赫布學習規則不同的唯一一點是它本質上是監督的。

公式

Δw = αxitj

• Δw 是權重的變化

• α 是學習率

• xi 是輸入向量，並且，

• tj 是目標值

競爭學習規則

競爭學習規則本質上是無監督的，顧名思義，它基於節點之間的競爭原則。這就是為什麼它也被稱為“贏家通吃”規則。

在此規則中，所有輸出節點都表示輸入模式，最佳節點（即輸出數量最多的節點）為獲勝者。然後將此獲勝節點分配值為 1，而其他失敗的節點保持為 0。自然地，一次只有一個神經元保持活躍。

公式

∆w_ij = η * (x_i - w_ij)

其中，

• ∆w_ij 是第 i 個輸入神經元和第 j 個輸出神經元之間權重的變化

• η 是學習率

• x_i 是輸入向量

• w_ij 是第 i 個輸入神經元和第 j 個輸出神經元之間的權重

Delta 學習規則

Delta 學習規則由伯納德·維德羅和馬西恩·霍夫提出，是一種具有連續啟用函式的監督學習規則。

此規則的主要目的是最小化訓練模式中的誤差，因此它也被稱為最小均方誤差方法。這裡使用的原理是無限梯度下降，權重的變化等於誤差和輸入的乘積。

公式

Δw_ij = η * (d_j - y_j) * f'(h_j) * x_i

其中，

• ∆w_ij 是第 i 個輸入神經元和第 j 個輸出神經元之間權重的變化

• η 是學習率

• d_j 是目標輸出

• y_j 是實際輸出

• f'(h_j) 是啟用函式的導數

• x_i 是第 i 個輸入

Out Star 學習規則

Out Star 學習規則由格羅斯伯格提出，是一種監督學習規則，它與網路層中排列的一對節點一起工作。

根據此規則，連線到給定節點的權重等於該特定連結上的目標輸出。此外，還有一層神經元的輸出層，其中每個神經元都是輸入向量的一個簇。此演算法主要用於模式和與聚類相關的任務。

公式

Δw_ij = η * (x_i - w_j) * f(w_j)

其中，

• Δw_ij 是權重的變化

• η 是學習率

• x_i 是輸入模式

• w_j 是權重向量

• f(w_j) 是啟用函式

結論

儘管人工神經網路中的每種學習規則都有其自身的優缺點，但您應該使用的規則取決於正在使用的任務和資料型別。ANN 學習規則的良好應用領域包括影像識別、模式匹配、預測建模和自然語言處理等。可以探索的其他 ANN 學習規則包括反向傳播、Q 學習、Hopfield 學習和進化演算法等。