自適應諧振理論



該網路由Stephen Grossberg和Gail Carpenter於1987年開發。它基於競爭並使用無監督學習模型。自適應諧振理論(ART)網路,顧名思義,總是開放於新的學習(自適應),而不會丟失舊的模式(諧振)。基本上,ART網路是一個向量分類器,它接受一個輸入向量並將其分類到一個類別中,這取決於它與哪個儲存模式最相似。

工作原理

ART分類的主要操作可以分為以下階段:

  • 識別階段 - 將輸入向量與輸出層每個節點上呈現的分類進行比較。如果神經元的輸出與應用的分類最匹配,則其輸出變為“1”,否則變為“0”。

  • 比較階段 - 在此階段,將輸入向量與比較層向量進行比較。重置的條件是相似度小於警戒引數。

  • 搜尋階段 - 在此階段,網路將搜尋上述階段中完成的重置和匹配。因此,如果沒有重置並且匹配相當好,則分類結束。否則,將重複該過程,並且必須傳送其他儲存模式以找到正確的匹配。

ART1

這是一種ART型別,旨在對二元向量進行聚類。我們可以透過其架構來了解這一點。

ART1的架構

它包含以下兩個單元:

計算單元 - 它由以下部分組成:

  • 輸入單元 (F1 層) - 它進一步包含以下兩個部分:

    • F1(a) 層 (輸入部分) - 在ART1中,除了只有輸入向量之外,此部分不會進行任何處理。它連線到F1(b)層(介面部分)。

    • F1(b) 層 (介面部分) - 此部分將來自輸入部分的訊號與F2層的訊號組合。F1(b)層透過自下而上的權重bij連線到F2層,F2層透過自上而下的權重tji連線到F1(b)層。

  • 聚類單元 (F2 層) - 這是一個競爭層。選擇具有最大淨輸入的單元來學習輸入模式。所有其他聚類單元的啟用都設定為0。

  • 重置機制 - 此機制的工作基於自上而下的權重和輸入向量之間的相似性。現在,如果這種相似度小於警戒引數,則不允許聚類學習模式,並且會發生重置。

補充單元 - 實際上,重置機制的問題在於,F2層必須在某些條件下被抑制,並且在發生某些學習時也必須可用。這就是為什麼添加了兩個補充單元,即G1G2以及重置單元R。它們被稱為增益控制單元。這些單元接收並向網路中存在的其他單元傳送訊號。“+”表示興奮性訊號,“-”表示抑制性訊號。

Supplement Unit

Units

使用的引數

使用以下引數:

  • n - 輸入向量中分量的數量

  • m - 可以形成的叢集的最大數量

  • bij - 從F1(b)到F2層的權重,即自下而上的權重

  • tji - 從F2到F1(b)層的權重,即自上而下的權重

  • ρ - 警戒引數

  • ||x|| - 向量x的範數

演算法

步驟1 - 初始化學習率、警戒引數和權重,如下所示:

$$\alpha\:>\:1\:\:and\:\:0\:<\rho\:\leq\:1$$

$$0\:<\:b_{ij}(0)\:<\:\frac{\alpha}{\alpha\:-\:1\:+\:n}\:\:and\:\:t_{ij}(0)\:=\:1$$

步驟2 - 當停止條件不為真時,繼續步驟3-9。

步驟3 - 對於每個訓練輸入,繼續步驟4-6。

步驟4 - 設定所有F1(a)和F1單元的啟用,如下所示

F2 = 0 和 F1(a) = 輸入向量

步驟5 - 將來自F1(a)到F1(b)層的輸入訊號傳送,如下所示:

$$s_{i}\:=\:x_{i}$$

步驟6 - 對於每個被抑制的F2節點

$y_{j}\:=\:\sum_i b_{ij}x_{i}$ 條件是 yj ≠ -1

步驟7 - 當重置為真時,執行步驟8-10。

步驟8 - 找到J,對於所有節點jyJ ≥ yj

步驟9 - 再次計算F1(b)上的啟用,如下所示:

$$x_{i}\:=\:sitJi$$

步驟10 - 現在,在計算向量x和向量s的範數之後,我們需要檢查重置條件,如下所示:

如果||x||/ ||s|| < 警戒引數ρ,則抑制節點J並轉到步驟7

否則,如果||x||/ ||s|| ≥ 警戒引數ρ,則繼續。

步驟11 - 可以對節點J進行權重更新,如下所示:

$$b_{ij}(new)\:=\:\frac{\alpha x_{i}}{\alpha\:-\:1\:+\:||x||}$$

$$t_{ij}(new)\:=\:x_{i}$$

步驟12 - 必須檢查演算法的停止條件,它可能是:

  • 權重沒有任何變化。
  • 未對單元執行重置。
  • 達到最大迭代次數。
廣告
© . All rights reserved.