資料結構
網路
關係資料庫管理系統 (RDBMS)
作業系統
Java
Microsoft Excel
iOS
HTML
CSS
Android
Python
C語言程式設計
C++
C#
MongoDB
MySQL
Javascript
PHP
物理學
化學
生物學
數學
英語
經濟學
心理學
社會學
服裝學
法學正則化——它能解決什麼問題？
簡介
資料模型將資料項與其自身以及模型原始目的所需的功能之間的關係進行分組和標準化。用於機器學習模型訓練和評估的資料有可能構建一個或一組解決方案。正則化技術避免了那些架構對最終資料變化特別敏感的定義不明確的模型。資料或資料輸入過程中的錯誤或問題可能會導致解決方案精度降低。透過改變流程以考慮錯誤和未來約束，可以生成高度準確和有用的模型。
正則化
它指的是透過提供附加資訊來防止模型過擬合的一種方法。
過擬合
你的機器學習模型有時在訓練資料上得分很高，但在測試資料上得分很低。在處理新的資料集時，會引入輸出噪聲，這意味著模型無法預測結果，因此被稱為過擬合。
偏差
它是模型為使函式更容易理解而做出的假設。基本上，它指的是訓練資料的誤差率。當誤差率很大時，我們稱之為高偏差，如果誤差率很小，我們稱之為低偏差。
方差
方差是訓練資料集和測試資料集誤差率之間的差異。當誤差之間的差距很小時，方差就低，而當差距很大時，方差就高。通常，我們希望用較低的方差來泛化我們的模型。
演算法
Lasso迴歸
嶺迴歸
Dropout迴歸
資料增強迴歸
提前停止迴歸
Lasso迴歸
可以將權重值降低到零。這會透過加快啟用函式作用於資料的速度來影響輸出。L1正則化是模型壓縮的一種有用方法。在壓縮模型時，瞭解權重的總大小將始終保持正值，甚至可能為零是有益的。正則化引數 lambda 的確定取決於哪個值提供最佳結果。使用L1正則化，可以建立稀疏模型。由於標準不可微分，因此可能需要演算法來更改基於梯度的學習模型。
嶺迴歸
L2正則化被稱為“權重衰減”。透過這種方法，透過減小權重的規模來避免過擬合。這種方法基於這樣的假設：隨著權重因子的增加，錯誤的可能性也會增加。降低權重值的目的是降低錯誤的可能性。與L1正則化相比，權重的值不能為0。權重乘以正則化引數（lambda）的平方根。隨著lambda值的增加，它將具有遞減的權重。為了檢查結果並選擇lambda的理想值，交叉驗證方法用於正確估計未知資料的輸出。
Dropout迴歸
Dropout正則化完全任意地排除各種神經網路節點以及輸入和輸出連結。每個節點都提供輸入、輸出、傳遞函式和加權輸入的連結。每個節點都對神經網路的輸出有影響。每個網路中都可以找到多個節點。丟棄後，節點將完全從網路中排除。丟棄的節點在每個迴圈中都會發生變化，從而改變結果。由於其可靠性和積極的結果，Dropout通常在工作場所使用。它可以有效地同時訓練具有不同拓撲結構的多個神經網路。Dropout帶來了諸如嘈雜的訓練環境之類的挑戰。鑑於Dropout重複稀疏啟用，網路必須學習稀疏表示。在訓練期間透過隨機子取樣對層輸出進行取樣，這降低了網路的容量。
資料增強迴歸
資料增強透過翻轉、映象、旋轉等方式從現有的訓練集中生成新的訓練集，正則化人為地增加了原始訓練資料集的大小。如果資料集不夠大，甚至無法產生準確的結果，則可以使用資料增強來提高模型的準確性。為了解釋各種情況，可以增加模型的資料集。
提前停止正則化
提前停止正則化在驗證誤差達到最低水平時停止訓練。梯度下降用於正則化模型。驗證誤差檢查模型輸出是否準確地描述資料並量化變數之間的關係。當驗證誤差停止減小並開始增加時，它是過擬合的標誌。資料被分成測試集，並評估每個集合的網路效能。完成之後，只保留效能最佳的模型。
結論
正則化是透過提供附加資訊來防止模型過擬合的一種方法。L1正則化是模型壓縮的一種有用方法。在壓縮模型時，瞭解權重的總大小將始終保持正值，甚至可能為零是有益的。Dropout正則化完全任意地排除各種神經網路節點以及輸入和輸出連結。透過減小權重的規模來避免過擬合。即使資料集不夠大，無法產生準確的結果，也可以使用資料增強來增加原始訓練資料集的大小。
311 次瀏覽
