Hopfield神經網路


John Hopfield在1982年提出了Hopfield神經網路。它是一種模擬大腦活動的人工神經網路。這種迴圈神經網路可以模擬聯想記憶和模式識別問題。Hopfield神經網路有助於解決各種問題。影像和語音識別、最佳化和組合最佳化只是受益於其應用的眾多應用領域中的一部分。

Hopfield神經網路的架構

Hopfield神經網路主要由單層互連神經元組成。一個完全連線的網路是指每個節點都可以與其他每個節點發送和接收資訊。神經元A和B之間的連線強度與神經元B和A之間的連線強度相同。

Hopfield神經網路的工作原理

Hopfield神經網路能夠執行其任務,是因為其神經元之間連線中儲存的模式。由於每個神經元的態由一系列二進位制值表示,因此每個模式也是一系列二進位制值。儲存模式後,網路可以利用這些模式從噪聲或不完整的模式中重建原始模式。神經元透過一個稱為“迭代啟用”的過程來做到這一點,在這個過程中,它們會根據來自附近細胞的輸入來改變它們的資料傳輸速率。將影響神經元活動水平的輸入視為加權總和,可以揭示它與其鄰居之間的連線強度。在大多數情況下,Hopfield神經網路將使用符號函式作為其啟用函式。如果函式值大於0,則認為它是正的;否則,則認為它是負的。

Hopfield神經網路的學習過程

Hebbian學習允許Hopfield神經網路識別其模式。此過程涉及調整神經元之間的權重,以改善輸入和輸出之間的匹配。當網路學習時,它會調整其神經元之間的權重,以最小化表示其期望行為與其實際行為之間差距的能量函式。使用此能量函式,我們可以評估網路重建先前儲存的模式的成功程度。

訓練Hopfield神經網路

Hopfield神經網路中神經元之間的權重是根據網路需要記住的模式設定的。這是透過使用Hebbian學習規則完成的,該規則指出,如果兩個神經元都具有相同的輸出,則它們之間的權重應該增加;如果它們具有不同的輸出,則應該減少。

Hebbian學習規則可以寫成如下:

w_ij = (1/N) * sum(x_i * x_j)

其中w_ij是網路中節點i和j之間的權重,N是節點總數,x_i和x_j分別是節點i和節點j的輸出,並且總和被認為是所有可能的節點對。

一旦權重被設定,就可以向網路提供模式的噪聲或不完整形式以找到它儲存的模式。然後,網路不斷改變神經元的狀態,直到它達到與它儲存的模式匹配的固定狀態。

Hopfield神經網路在影像識別中的應用

Hopfield神經網路已被用於許多影像識別任務,例如影像去噪和影像分割。在影像去噪中,透過在網路中儲存乾淨影像及其噪聲版本來訓練網路去除影像中的噪聲。然後,網路從噪聲輸入中恢復乾淨的影像。

影像分割教網路如何根據顏色或紋理將影像分成不同的部分。這是透過在網路中儲存一組具有其相關分割圖的示例影像,然後使用網路根據新影像與儲存示例的相似程度來分割新影像來完成的。

Hopfield神經網路在最佳化中的應用

旅行商問題和二次分配問題等規劃問題也已藉助Hopfield神經網路得到解決。在旅行商問題中,網路確定訪問每個城市恰好一次的最短路線。

在二次分配問題中,網路用於找到將專案放置在位置的最佳方式,其中每個分配的成本基於物件和位置之間距離的二次函式。

Hopfield神經網路的侷限性

Hopfield神經網路是識別模式和聯想記憶任務的重要工具,但它也有一些問題。網路的容量有限,這意味著它只能記住一定數量的模式,否則它會變得不穩定或給出錯誤的結果。

另一個問題是網路傾向於陷入區域性最小值,即它穩定在一個與所需模式不同的狀態。這使得很難從嘈雜或不完整的輸入中確定正確的模式。

結論

Hopfield神經網路是一個強大的工具,可以解決許多模式識別、聯想記憶和最佳化問題。它已被用於影像識別、最佳化和神經科學研究等領域,研究人員仍在尋找克服其缺點並提高其效能的方法。

更新於:2023年10月11日

瀏覽量:230

啟動您的職業生涯

透過完成課程獲得認證

開始學習
廣告
© . All rights reserved.