機器學習 - 梯度提升

上一頁
下一頁

梯度提升機（GBM）是一種強大的機器學習技術，被廣泛用於構建預測模型。它是一種整合方法，將多個較弱模型的預測結果組合起來，以建立更強大、更準確的模型。

GBM 是廣泛應用於迴歸、分類和排序問題的流行選擇。讓我們瞭解 GBM 的工作原理以及它如何在機器學習中使用。

什麼是梯度提升機（GBM）？

GBM 是一種迭代式機器學習演算法，它結合多個決策樹的預測結果來做出最終預測。

該演算法透過訓練一系列決策樹來工作，每個決策樹都旨在糾正前一棵樹的錯誤。

在每次迭代中，演算法都會識別資料集中最難預測的樣本，並專注於提高模型在這些樣本上的效能。

這是透過擬合一個新的決策樹來實現的，該決策樹經過最佳化以減少對困難樣本的錯誤。該過程持續進行，直到滿足指定的停止條件，例如達到一定的準確率或最大迭代次數。

梯度提升機如何工作？

訓練 GBM 模型涉及的基本步驟如下：

  • 初始化模型 - 演算法首先建立一個簡單的模型，例如單個決策樹，作為初始模型。

  • 計算殘差 - 初始模型用於對訓練資料進行預測，殘差計算為預測值與實際值之間的差異。

  • 訓練新模型 - 在殘差上訓練一個新的決策樹，目標是最小化對困難樣本的錯誤。

  • 更新模型 - 將新模型的預測結果新增到前一個模型的預測結果中，並根據更新後的預測結果重新計算殘差。

  • 重複 - 重複步驟 3-4，直到滿足指定的停止條件。

透過引入正則化技術（如 L1 和 L2 正則化）來防止過擬合，可以進一步改進 GBM。此外，GBM 可以擴充套件以處理分類變數、缺失資料和多類分類問題。

示例

以下是如何使用 Sklearn 乳腺癌資料集實現 GBM 的示例：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score

# Load the breast cancer dataset
data = load_breast_cancer()
X = data.data
y = data.target

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Train the model using GradientBoostingClassifier
model = GradientBoostingClassifier(n_estimators=100, max_depth=3, learning_rate=0.1)
model.fit(X_train, y_train)

# Make predictions on the testing set
y_pred = model.predict(X_test)

# Evaluate the model's accuracy
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

輸出

在這個例子中，我們使用 Sklearn 的 load_breast_cancer 函式載入乳腺癌資料集，並將其拆分為訓練集和測試集。然後，我們使用 GradientBoostingClassifier 定義 GBM 模型的引數，包括估計器數量（即決策樹數量）、每個決策樹的最大深度和學習率。

我們使用 fit 方法訓練 GBM 模型，並使用 predict 方法對測試集進行預測。最後，我們使用 Sklearn 的 metrics 模組中的 accuracy_score 函式評估模型的準確率。

執行此程式碼時，將產生以下輸出：

Accuracy: 0.956140350877193

使用梯度提升機的優勢

在機器學習中使用 GBM 有幾個優勢：

  • 高精度 - GBM 以其高精度而聞名，因為它結合了多個較弱模型的預測結果來建立更強大、更準確的模型。

  • 魯棒性 - GBM 對異常值和噪聲資料具有魯棒性，因為它專注於提高模型在最困難樣本上的效能。

  • 靈活性 - GBM 可用於各種應用，包括迴歸、分類和排序問題。

  • 可解釋性 - GBM 提供了對預測中不同特徵重要性的見解，這對於理解驅動預測的潛在因素很有用。

  • 可擴充套件性 - GBM 可以處理大型資料集，並且可以並行化以加速訓練過程。

梯度提升機的侷限性

在機器學習中使用 GBM 也有一些侷限性：

  • 訓練時間 - GBM 在計算上可能很昂貴，並且可能需要大量的訓練時間，尤其是在處理大型資料集時。

  • 超引數調整 - GBM 需要仔細調整超引數，例如學習率、樹的數量和最大深度，以實現最佳效能。

  • 黑盒模型 - GBM 可能難以解釋，因為最終模型是多個決策樹的組合，並且可能不會提供對驅動預測的潛在因素的清晰見解。

列印頁面
上一頁
下一頁
廣告