資料結構
網路
關係資料庫管理系統 (RDBMS)
作業系統
Java
MS Excel
iOS
HTML
CSS
Android
Python
C語言程式設計
C++
C#
MongoDB
MySQL
Javascript
PHP
物理學
化學
生物學
數學
英語
經濟學
心理學
社會學
服裝設計
法學什麼是機器學習中的分組卷積？
介紹
過濾器組的概念，也稱為分組卷積，最早在2012年的AlexNet中被探索。這種創造性的解決方案源於使用兩塊各具有1.5GB記憶體的Nvidia GTX 580 GPU進行網路訓練的必要性。
挑戰：有限的GPU記憶體
在測試過程中，AlexNet的建立者發現它需要略低於3GB的GPU記憶體才能進行訓練。不幸的是，由於記憶體限制，他們無法有效地利用兩塊GPU進行模型訓練。
過濾器組背後的動機
為了解決GPU記憶體問題，作者提出了過濾器組。透過最佳化模型在GPU上的並行化，能夠更有效地利用計算資源。
理解過濾器組/卷積組
透過使用卷積分組過濾器，可以將卷積層分割。所有過濾器都在每個組中。透過實現過濾器組，作者克服了GPU記憶體限制，並獲得了更有效的模型並行化。由於過濾器的分組，資料和計算工作負載均勻地分佈在GPU之間。
透過使用過濾器組，作者能夠充分利用其資源。他們透過在GPU之間並行化過濾器組，最大限度地利用了具有有限記憶體容量的兩塊Nvidia GTX 580 GPU。作者成功地使用過濾器組訓練了AlexNet。GPU記憶體約束並沒有阻止他們有效地分配工作負載和訓練模型。
什麼是過濾器組？
研究人員最初認為過濾器組僅僅是規避GPU記憶體限制的一種手段。但是，這項技術有一個有趣的副作用。conv1的黑白和彩色過濾器似乎被分成兩個不同的類別。因此，過濾器組增強了網路表示。
我們進行了實驗來測試過濾器組對準確性和計算效率的影響。帶有和不帶過濾器組的AlexNet展現出相似的驗證誤差，並且與不帶過濾器組的AlexNet相比，計算效率更高。這項研究的結果表明，過濾器組對更好的表示的貢獻不僅僅是權宜之計。
深入探討過濾器組
理解卷積層的結構對於理解過濾器組至關重要。卷積層通常在其深度上對每一層之前特徵圖進行卷積。所有輸入通道都包含在輸出特徵圖中，導致引數更多，計算需求更大。
將過濾器分組為更小的組，需要將它們分成更小的組。每一組過濾器都會隨著前一層特徵的子集而演變。因此，每個組的引數更少，計算負載最小。因此，輸出特徵圖是透過組合每個組的卷積建立的，這更節省記憶體。
在考慮通道維度時，卷積層尤其受益於過濾器組。隨著CNN的深入，通道數量會顯著增加，而空間維度會減小。透過減少每個組中的引數數量，過濾器組可以幫助管理這種通道維度的主導地位。
此外，根據研究，過濾器組促進了網路內更好表示的形成。過濾器根據其任務（例如黑白和彩色過濾器）被組織成過濾器組，這有助於過濾器專門化並增強網路提取有意義特徵的能力。
分組卷積的優勢
分組卷積允許我們透過複製過濾器組的模組化塊來構建更廣泛的網路。透過增加網路容量而不影響計算效率，我們可以提高網路容量。
透過僅在其組內的特徵圖子集上對每個過濾器進行卷積，可以降低計算複雜度。但是，與在不復制過濾器組的情況下應用所有核心（不使用分組卷積的概念）相比，整體複雜度要低得多。
在訓練過程中使用分組卷積有助於模型和資料並行。在資料並行中，資料集被分成塊，並且資料一次訓練一塊，類似於小批次梯度下降法。同時，模型並行透過並行化模型本身來實現計算資源的有效利用。正如AlexNet在有限RAM GPU上的訓練所證明的那樣，分組卷積實現了有效的模型並行。
分組卷積具有學習資料更好表示的優勢。由於不同過濾器組中的過濾器之間相關性低，每個組學習獨特的表示。在傳統的卷積神經網路中，過濾器往往相互關聯，這種過濾器組的專門化增強了網路捕獲不同特徵的能力。
結論
深度神經網路從分組卷積中受益匪淺，因為它能夠實現有效的並行化、提高計算效率和增強表示學習。它們解決了日益增長的模型複雜性和有限硬體資源帶來的挑戰。研究人員開發了分組卷積，以便在具有較小記憶體容量的GPU上訓練深度模型。隨著深度學習的不斷發展，分組卷積無疑將在推動模型效能和效率的界限方面發揮關鍵作用。
215 次檢視
