深度學習中遞迴神經網路簡介


介紹

遞迴神經網路 (RvNN) 是一種用於自然語言處理的深度神經網路。當使用相同的權重對結構化輸入進行多次處理以產生結構化預測時,我們就得到了遞迴神經網路。企業高管和 IT 專業人員必須瞭解什麼是遞迴神經網路、它能做什麼以及它是如何工作的。

遞迴神經網路

“深度學習”是機器學習和人工智慧 (AI) 的一個分支,旨在模擬人腦分析資訊和學習某些概念的方式。深度學習的基礎是神經網路。這些網路旨在精確識別資料集中的潛在模式,並且大致模擬人腦。深度學習為預測不可預測的問題提供了答案。

遞迴神經網路 (RvNN) 是深度神經網路的一個子集,能夠學習結構化和層次化的資料。透過對結構化輸入重複使用相同的權重集,RvNN 允許您獲得結構化預測。遞迴是指神經網路對其輸出的應用。

由於其深入的樹狀結構,遞迴神經網路能夠處理層次資料。在樹狀結構中,父節點透過連線子節點建立。每個父子連線都有一個權重矩陣,並且相似的子節點具有相同的權重。為了允許遞迴操作和使用相同的權重,樹中每個節點的子節點數量是固定的。當需要解析整個句子時,使用 RvNN。

我們將權重矩陣 (Wᵢ) 和子節點 (Cᵢ) 的乘積相加,並使用變換 f 來確定父節點的表示。

\[h = f \left( \sum_{i=1}^{i=c} W_i C_i \right) \],c 指的是子節點的數量。

迴圈神經網路與遞迴神經網路

  • 迴圈神經網路 (RNN) 是另一個著名的用於處理序列資料的神經網路家族。它們與遞迴神經網路密切相關。

  • 鑑於語言相關資料(如句子和段落)本質上是序列化的,迴圈神經網路對於在自然語言處理 (NLP) 中表示時間序列很有用。迴圈網路通常使用鏈式拓撲結構。透過沿整個鏈長分配權重,維數得以保持。

  • 另一方面,遞迴神經網路由於其樹狀結構而與層次化資料模型一起工作。由於每個節點都有固定數量的子節點,因此樹可以執行遞迴操作並在每個步驟使用相同的權重。父節點表示透過組合子節點表示來建立。

  • 前饋網路不如遞迴網路有效。

  • 遞迴網路只是迴圈網路的泛化,因為迴圈網路是隨時間推移的迴圈。

遞迴神經網路的實現

使用遞迴神經網路進行自然語言句子中的情感分析。識別特定句子中作者的寫作語氣和思想是自然語言處理 (NLP) 最重要的任務之一。每當作者表達任何情感時,都會理解寫作語氣的基本特徵。為了將它們組織在一個句法層次結構中,我們必須首先識別較小的部分,例如名詞或動詞短語。例如,它指示句子是否具有積極的寫作風格或消極的詞語選擇。

為了為特定句子建立理想的句法樹,我們必須組合特定的一對短語和單詞,這由一個名為“分數”的變數指示,該變數在每個節點遍歷時生成。

用於自然語言處理的 RvNN:優點

遞迴神經網路用於自然語言處理的兩個主要優點是其結構和網路深度的減少。

如前所述,遞迴神經網路的樹狀結構可以處理層次資料,例如在解析問題中。

樹具有對數高度的另一個優點是 RvNN。當有 O(n) 個輸入詞時,遞迴神經網路實際上可以表示高度為 O(log n) 的二叉樹。這縮短了第一個和最後一個輸入元素之間的長度。因此,長期依賴性變得更容易管理且更短。

用於自然語言處理的 RvNN:缺點

遞迴神經網路的樹狀結構可能是其最大的缺點。使用樹狀結構意味著為我們的模型提供特殊的歸納偏差。這種偏差與資料以樹狀層次結構組織的概念一致。但現實情況並非如此。因此,網路可能無法捕捉到當前的模式。

遞迴神經網路的另一個缺點是句子解析可能很麻煩且緩慢。有趣的是,同一文字可能存在不同的解析樹。

此外,為遞迴神經網路標記訓練資料比構建迴圈神經網路需要更多的時間和精力。手動將句子分解成較小的部分比為其新增標籤需要更多的時間和精力。

結論

本文討論了深度學習和遞迴神經網路的基礎知識。理解機器學習演算法及其不同型別可以幫助人們清楚地瞭解該領域的未來可能性。

透過理解機器語言演算法,人們可以更好地理解對資料集的計算機處理,並從資料集中提取更多相關且有價值的資訊。

更新於:2023年3月28日

6000+ 次瀏覽

開啟你的職業生涯

完成課程獲得認證

開始學習
廣告