深度學習中的深度信念網路 (DBN)

---

簡介

深度信念網路 (DBN) 是一種深度學習架構，它結合了無監督學習原理和神經網路。它們由多層受限玻爾茲曼機 (RBM) 組成，這些 RBM 是逐層以無監督的方式進行訓練的。一個 RBM 的輸出被用作下一個 RBM 的輸入，最終輸出用於監督學習任務，例如分類或迴歸。

深度信念網路

DBN 已被應用於各種應用，包括影像識別、語音識別和自然語言處理。它們在許多工中都取得了最先進的結果，並且是目前最強大的深度學習架構之一。

由於它們不像 RBM 那樣使用原始輸入，因此 DBN 也與其他深度學習演算法（如自動編碼器和受限玻爾茲曼機 (RBM)）有所不同。它們反而在一個輸入層上操作，該輸入層為每個輸入向量設定一個神經元，並在到達最終層之前經過多個層，在最終層中使用從先前層獲得的機率生成輸出。

DBN 的架構

DBN 的基本結構由幾層 RBM 組成。每個 RBM 都會學習輸入資料的機率分佈，這是一個生成模型。DBN 的初始層學習資料的基本結構，而後續層學習更高級別的特徵。DBN 的最後一層用於監督學習任務，如分類或迴歸。

DBN 中的每個 RBM 都使用對比散度進行獨立訓練，這是一種無監督學習方法。可以使用此方法來近似 RBM 引數的資料對數似然的梯度。然後，透過將訓練好的 RBM 堆疊在一起，將一個訓練好的 RBM 的輸出用作下一個 RBM 的輸入。

在 DBN 訓練完成後，可以透過使用監督學習技術（如反向傳播）調整最後一層的權重，在其上執行監督學習任務。此微調過程可以提高 DBN 在其訓練的特定任務上的效能。

DBN 的發展

最早一代的神經網路，稱為感知器，非常強大。根據我們的反饋，它們可以幫助我們識別影像中的物體或衡量我們對某種食物的喜愛程度。但它們也有侷限性。它們通常一次只考慮一個資訊，難以理解周圍環境的上下文。

一種第二代神經網路。反向傳播是一種技術，它將接收到的輸出與預期結果進行比較，並降低誤差值，直到誤差值為零，這意味著每個感知器最終都將達到其理想狀態。

有向無環圖 (DAG)，通常稱為信念網路，是下一步，有助於解決推理和學習問題。它比以往任何時候都更能讓我們控制資料。

最後，深度信念網路 (DBN) 可用於建立公平的值，然後我們可以將其儲存在葉節點中，確保無論在此過程中發生什麼，我們始終掌握正確的解決方案。

DBN 的工作原理

為了直接獲取畫素輸入訊號，我們必須訓練一個屬性層。然後，透過將這些競爭利益集團的值視為畫素，我們發現了最初獲得的特徵的特性。我們新增到網路中的每一新的地塊子種姓或特徵都會提高訓練資料集對數似然的較低界限。

以下是深度信念網路的操作流程：

• 我們首先在頂部的兩層隱藏層中執行多次吉布斯取樣迭代。頂部的兩層隱藏層定義了 RBM。因此，此步驟成功地從中移除了一個樣本。

• 之後，透過模型的其餘部分執行單次祖先採樣傳遞，以從可見單元生成樣本。

• 我們將採用單一的自下而上的方法來確定每一層中潛在變數的值。貪婪預訓練從最低層的一個觀察到的資料向量開始。然後它反向調整生成權重。

DBN 的優點

DBN 的主要優點之一是它能夠以無監督的方式從資料中學習特徵。這意味著它們不需要標記資料，而標記資料可能既困難又費時。DBN 還可以學習資料的層次表示，每一層學習越來越複雜的特徵。對於影像識別等應用，早期層可以捕捉到諸如邊緣之類的基本細節，這種層次表示非常有用。然而，後期的層能夠學習更復雜的特徵，例如形狀和物體。

此外，DBN 已被證明能夠抵抗過擬合，這是深度學習中的一個主要問題。這是由於 RBM 在其無監督預訓練期間對模型正則化的貢獻。在微調階段僅使用少量標記資料可以最大限度地減少過擬合的風險。

DBN 可以用來初始化其他深度學習架構的權重，例如卷積神經網路 (CNN) 和迴圈神經網路 (RNN)。因此，這些架構可以從一組可靠的初始權重開始，這可以提高它們的效能。

DBN 處理缺失資料的能力是另一個優勢。在許多實際應用中，一些資料可能會損壞或缺失。傳統的需要協助才能處理缺失資料的神經網路，因為它們是針對完整且正確的資料設計的。但是，透過使用稱為“dropout”的技術，可以訓練 DBN 學習不受缺失資料存在影響的魯棒特徵。

DBN 還可以用於生成任務，例如文字和影像的生成。由於 RBM 的無監督預訓練，DBN 可以學習資料的機率分佈，並且可以生成類似於訓練資料的新樣本。這在諸如計算機視覺之類的程式中可能很有用，這些程式可以根據標籤或其他特性生成新的影像。

梯度消失問題是深度神經網路訓練中的主要挑戰之一。隨著網路層數的增加，用於更新訓練期間權重的梯度可能會變得非常小，從而難以有效地訓練網路。由於 RBM 的無監督預訓練，DBN 可以解決這個問題。在預訓練期間，每個 RBM 學習資料的表示，該表示相對穩定，並且不會隨著權重的微小變化而發生劇烈變化。這意味著當 DBN 被最佳化用於監督任務時，用於更新權重的梯度要大得多，從而提高了訓練效率。

除了標準的深度學習任務外，DBN 還已成功應用於各種行業，包括生物資訊學、藥物開發和金融預測。在生物資訊學中，DBN 已被用於發現基因表達資料中的模式，這些模式暗示著疾病，這可以用於開發新的診斷工具。在藥物發現中，DBN 已被用於發現可能被開發成藥物的新化合物。在金融行業，DBN 已被用於預測股票價格和其他金融變數。

結論

總之，DBN 是一種強大的深度學習架構，可以應用於各種任務。它們由以無監督方式訓練的 RBM 層組成，最後一層應用監督學習。DBN 是目前最強大的深度學習架構之一，已被證明在各種任務中能夠產生最先進的結果。它們可以從資料中無監督地學習特徵，對過擬合具有魯棒性，並且可以用來初始化其他深度學習架構的權重。