標準化和殘差連線

---

---

在前面的章節中，我們瞭解了Transformer的架構、子層以及一些有助於提高其效率和有效性的關鍵元件。在Transformer的設計核心，還有一個至關重要的元件叫做“加法與歸一化”，它是一個緊隨**殘差連線**之後的**層歸一化**。它透過避免梯度消失和穩定訓練過程來提升Transformer模型的效能。

在本章中，我們將瞭解層歸一化和殘差連線的作用、工作原理、優勢以及在Transformer模型中實現它們時的一些實際考慮因素。

層歸一化和殘差連線的作用

在深入瞭解歸一化和殘差連線的作用之前，讓我們回顧一下Transformer架構的基礎知識。

Transformer由兩部分組成：**編碼器**和**解碼器**。編碼器和解碼器都由多個層組成，每個層都包含**兩個主要的子層：多頭注意力機制**和**全連線前饋神經網路**。此外，殘差連線和層歸一化應用於這些子層，以保持穩定性和提高訓練效能。

殘差連線

殘差連線，也稱為跳躍連線，用於解決梯度消失問題。它繞過一些層，允許梯度直接透過網路。簡單來說，殘差連線透過允許梯度在層之間傳遞而不會丟失太多資訊，幫助網路更有效地學習。

在數學上，殘差連線可以表示為：

$$\mathrm{輸出 \: = \: 層輸出 \: + \: 輸入}$$

上述等式表明我們將一個層的輸出新增到其輸入中。它基本上幫助模型學習輸入和輸出之間的差異（或殘差）。這樣，殘差連線使模型訓練更容易、更有效。

層歸一化

層歸一化是一種用於在整個訓練過程中將輸入保持在特定範圍內的技術。這種歸一化步驟使訓練過程保持穩定，尤其是在處理深度神經網路時。

在數學上，給定輸入向量x的層歸一化公式為：

$$\mathrm{\hat{x} \: = \: \frac{x \: - \: \mu}{\sigma}}$$

其中μ是輸入向量的均值，σ是輸入向量的標準差（SD）。歸一化後，輸出使用可學習引數進行縮放和偏移，如下所示：

$$\mathrm{y \: = \: \gamma \: \dot \: \hat{x} \: + \: \beta}$$

這種縮放和偏移機制的好處如下：

• 它允許網路保持輸入的表示能力。
• 它還確保啟用在整個訓練過程中保持在特定範圍內。

歸一化和殘差連線的工作原理

在Transformer架構中，歸一化和殘差連線應用於多頭注意力和前饋神經網路（FFNN）子層。讓我們看看它們是如何工作的：

• 首先，輸入x透過多頭注意力子層。
• 然後將自注意力機制的輸出新增到原始輸入x中。這形成了殘差連線。
• 之後，將層歸一化（LN）應用於輸入和多頭注意力輸出的和。在數學上，此操作可以總結如下：

$$\mathrm{歸一化(x \: + \: 多頭注意力 \: (x))}$$

• 現在，來自多頭注意力子層的輸出透過FFNN子層。
• 然後將FFNN的輸出新增到自注意力機制的輸入中。這再次形成了殘差連線。

之後，將層歸一化（LN）應用於輸入和FFNN輸出的和。在數學上，此操作可以總結如下：

$$\mathrm{Norm2 \: \left(FFNN \: \left(Norm1 \:(x \: + \: 多頭注意力 \: (x)) \right) \right)}$$

歸一化和殘差連線的優勢

殘差連線和層歸一化的組合提供了以下好處：

• **穩定訓練** - 層歸一化透過確保啟用函式保持在一致的範圍內來使訓練過程保持穩定。它防止了梯度消失的問題。
• **允許構建更深層的網路** - 殘差連線允許構建更深層的網路，這對於捕獲複雜模式至關重要。
• **提高學習速度** - 殘差連線允許梯度直接流過網路。它提高了模型的收斂速度，從而導致更快的訓練和更好的效能。
• **增強模型效能** - 層歸一化（LN）和殘差連線的組合增強了模型學習複雜函式的能力，從而提高了準確性和泛化能力。

歸一化和殘差連線的注意事項

在Transformer模型中實現殘差連線和層歸一化組合時，我們應該考慮以下幾點：

• **初始化** - 我們應該對層歸一化引數γ和β的權重進行適當的初始化。兩種常見的技術是He初始化和Xavier初始化。
• **超引數** - 我們需要仔細調整超引數，例如隱藏層的尺寸、注意力頭的數量和dropout率，因為它們會影響模型的效能。
• **計算效率** - 我們應該在模型的複雜性和可用計算資源之間取得平衡，因為殘差連線和層歸一化的實現會增加計算開銷。

結論

“加法與歸一化”元件，即緊隨**殘差連線**之後的**層歸一化**，是Transformer架構的一個基本方面。

在本章中，我們討論了層歸一化和殘差連線在Transformer模型中的作用。透過實現它們，Transformer模型可以有效地訓練更深層的網路，緩解梯度消失問題，並提高模型訓練速度。但在實現之前，權重的正確初始化和超引數的調整是必要的。

對於想要處理高階NLP任務的人來說，瞭解“加法與歸一化”元件的概念非常重要。隨著研究的進展，我們可以期待歸一化和殘差連線的進一步改進，從而增強基於Transformer的架構的功能。