神經形態計算 - 脈衝神經網路 (SNNs)

脈衝神經網路 (SNNs) 是一種特殊型別的神經網路，它與生物神經元的工作方式相同，使用離散的、時間相關的脈衝來傳輸和處理資訊。憶阻器作為硬體元件用於 SNNs 的實現，因為它們可以根據脈衝定時和輸入訊號調整其電阻。在本節中，我們將詳細解釋 SNN 演算法概述，並將其與 ANN 演算法進行比較。

SNN 學習機制

SNN 中的學習依賴於脈衝的定時和突觸連線的可塑性。一般來說，有兩種型別的學習機制

脈衝時間依賴可塑性 (STDP)

脈衝時間依賴可塑性 (STDP) 是一種無監督學習演算法，它基於赫布規則，可以概括為“如果兩個連線的神經元同時激發，則它們之間突觸的權重應該增強”。但是，如果突觸前脈衝先於突觸後脈衝，則突觸的權重會被增強或減弱。

憶阻器是能夠模擬這種行為的兩端電元件，可以透過根據這些時間規則調整其電阻來實現。瞭解更多關於憶阻器的資訊。

基於脈衝的反向傳播

基於脈衝的反向傳播是一種用於訓練 SNNs 的方法，它透過根據脈衝的定時和發生情況調整突觸權重，類似於傳統 ANNs 中的反向傳播方法。這種方法需要很長的訓練時間，因為網路需要頻繁地進行前向傳遞，即使使用並行化，在標準計算機硬體上也需要很長時間。

由於神經元方程不可微分的問題，反向傳播不能直接用於 SNNs。因此，需要對導數進行近似才能使反向傳播工作。這些近似值可以在脈衝時間、膜電位、ReLU 啟用函式甚至 STDP 機制周圍進行。

SNN 模型

SNNs 中使用幾種神經元模型，包括

• 漏積分發放 (LIF)：這是一種常見的模型，它捕獲了神經元的本質動力學。它整合傳入的脈衝，並在達到某個閾值時產生輸出脈衝，然後是重置週期。
• Izhikevich 模型：一個更符合生物學現實的模型，它結合了簡單模型的效率和生物神經元中看到的更復雜脈衝行為的豐富性。
• Hodgkin-Huxley 模型：這是一個詳細的模型，它模擬了生物神經元中動作電位產生的離子機制。

BNN 與 ANN 與 SNN

下表顯示了人工神經網路與脈衝神經網路和生物神經網路的區別

ANN 到 SNN 的轉換

將傳統 ANN 轉換為 SNN 包括將 ANN 的連續輸出轉換為 SNN 可以處理的離散脈衝。這可以透過將 ANN 的啟用值對映到脈衝速率來實現，這個過程允許轉換後的 SNN 保持原始 ANN 的功能，同時受益於脈衝網路的能效和事件驅動特性。