Scikit Learn - 隨機梯度下降

---

---

在這裡，我們將學習 Sklearn 中的一種最佳化演算法，稱為隨機梯度下降 (SGD)。

隨機梯度下降 (SGD) 是一種簡單而高效的最佳化演算法，用於查詢函式引數/係數的值，以最小化成本函式。換句話說，它用於在凸損失函式（如 SVM 和邏輯迴歸）下進行線性分類器的判別式學習。它已成功應用於大型資料集，因為對係數的更新是針對每個訓練例項進行的，而不是在例項結束時進行的。

SGD 分類器

隨機梯度下降 (SGD) 分類器基本上實現了一個簡單的 SGD 學習程式，支援各種用於分類的損失函式和懲罰。Scikit-learn 提供了 **SGDClassifier** 模組來實現 SGD 分類。

引數

下表包含 **SGDClassifier** 模組使用的引數：

屬性

下表包含 **SGDClassifier** 模組使用的屬性：

實現示例

與其他分類器一樣，隨機梯度下降 (SGD) 必須使用以下兩個陣列擬合：

• 包含訓練樣本的陣列 X。其大小為 [n_samples, n_features]。

• 包含目標值（即訓練樣本的類標籤）的陣列 Y。其大小為 [n_samples]。

示例

以下 Python 指令碼使用 SGDClassifier 線性模型：

import numpy as np
from sklearn import linear_model
X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])
Y = np.array([1, 1, 2, 2])
SGDClf = linear_model.SGDClassifier(max_iter = 1000, tol=1e-3,penalty = "elasticnet")
SGDClf.fit(X, Y)

輸出

SGDClassifier(
   alpha = 0.0001, average = False, class_weight = None,
   early_stopping = False, epsilon = 0.1, eta0 = 0.0, fit_intercept = True,
   l1_ratio = 0.15, learning_rate = 'optimal', loss = 'hinge', max_iter = 1000,
   n_iter = None, n_iter_no_change = 5, n_jobs = None, penalty = 'elasticnet',
   power_t = 0.5, random_state = None, shuffle = True, tol = 0.001,
   validation_fraction = 0.1, verbose = 0, warm_start = False
)

示例

現在，擬合後，模型可以預測新值，如下所示：

SGDClf.predict([[2.,2.]])

輸出

array([2])

示例

對於上述示例，我們可以使用以下 Python 指令碼獲取權重向量：

SGDClf.coef_

輸出

array([[19.54811198, 9.77200712]])

示例

同樣，我們可以使用以下 Python 指令碼獲取截距的值：

SGDClf.intercept_

輸出

array([10.])

示例

我們可以使用 **SGDClassifier.decision_function** 獲取到超平面的有符號距離，如以下 Python 指令碼所示：

SGDClf.decision_function([[2., 2.]])

輸出

array([68.6402382])

SGD 迴歸器

隨機梯度下降 (SGD) 迴歸器基本上實現了一個簡單的 SGD 學習程式，支援各種損失函式和懲罰，以擬合線性迴歸模型。Scikit-learn 提供了 **SGDRegressor** 模組來實現 SGD 迴歸。

引數

**SGDRegressor** 使用的引數幾乎與 SGDClassifier 模組中使用的引數相同。區別在於“loss”引數。對於 **SGDRegressor** 模組的 loss 引數，正值如下：

• **squared_loss** − 它指的是普通最小二乘擬合。

• **huber: SGDRegressor** − 透過在超過 epsilon 距離後從平方損失切換到線性損失來校正異常值。“huber” 的作用是修改“squared_loss”，以便演算法更少地關注校正異常值。

• **epsilon_insensitive** − 實際上，它忽略小於 epsilon 的誤差。

• **squared_epsilon_insensitive** − 它與 epsilon_insensitive 相同。唯一的區別是它在超過 epsilon 的容差後變成平方損失。

另一個區別是名為“power_t”的引數的預設值為 0.25，而不是 **SGDClassifier** 中的 0.5。此外，它沒有“class_weight”和“n_jobs”引數。

屬性

SGDRegressor 的屬性也與 SGDClassifier 模組的屬性相同。相反，它還有三個額外的屬性，如下所示：

• **average_coef_** − array，形狀為 (n_features，)

顧名思義，它提供了分配給特徵的平均權重。

• **average_intercept_** − array，形狀為 (1，)

顧名思義，它提供了平均截距項。

• **t_** − int

它提供了在訓練階段執行的權重更新次數。

**注意** − 啟用引數“average”為 True 後，屬性 average_coef_ 和 average_intercept_ 才能工作。

實現示例

以下 Python 指令碼使用 **SGDRegressor** 線性模型：

import numpy as np
from sklearn import linear_model
n_samples, n_features = 10, 5
rng = np.random.RandomState(0)
y = rng.randn(n_samples)
X = rng.randn(n_samples, n_features)
SGDReg =linear_model.SGDRegressor(
   max_iter = 1000,penalty = "elasticnet",loss = 'huber',tol = 1e-3, average = True
)
SGDReg.fit(X, y)

輸出

SGDRegressor(
   alpha = 0.0001, average = True, early_stopping = False, epsilon = 0.1,
   eta0 = 0.01, fit_intercept = True, l1_ratio = 0.15,
   learning_rate = 'invscaling', loss = 'huber', max_iter = 1000,
   n_iter = None, n_iter_no_change = 5, penalty = 'elasticnet', power_t = 0.25,
   random_state = None, shuffle = True, tol = 0.001, validation_fraction = 0.1,
   verbose = 0, warm_start = False
)

示例

現在，擬合後，我們可以使用以下 Python 指令碼獲取權重向量：

SGDReg.coef_

輸出

array([-0.00423314, 0.00362922, -0.00380136, 0.00585455, 0.00396787])

示例

同樣，我們可以使用以下 Python 指令碼獲取截距的值：

SGReg.intercept_

輸出

SGReg.intercept_

示例

我們可以使用以下 Python 指令碼獲取訓練階段的權重更新次數：

SGDReg.t_

輸出

61.0

SGD 的優缺點

以下是 SGD 的優點：

• 隨機梯度下降 (SGD) 非常高效。

• 它非常易於實現，因為有很多程式碼調整的機會。

以下是 SGD 的缺點：

• 隨機梯度下降 (SGD) 需要多個超引數，例如正則化引數。

• 它對特徵縮放敏感。