CatBoost - 提升過程

CatBoost（簡稱“Categorical Boosting”）就像其他梯度提升方法（如 XGBoost 或 LightGBM）一樣，但它具有一些顯著的優勢，尤其是在處理類別資料時。

CatBoost 提升過程的關鍵步驟

因此，讓我們討論 CatBoost 提升過程的關鍵特性 -

• 資料準備：CatBoost 自動使用目標統計量將類別特徵轉換為數值。這最大限度地提高了包含大量類別變數的資料集的效率。
• 模型初始化：在 CatBoost 過程中，第一步是建立一個基本模型，通常是迴歸目標變數的平均值。
• 梯度計算：在每一步中，此方法都會找到損失函式的梯度。損失函式是預期值和實際值之間的差異。此梯度為構建決策樹提供了起點。
• 決策樹構建：CatBoost 使用對稱樹結構，其中樹的每一層具有相同數量的節點。這樣可以加快處理速度並提高預測時間。
• 有序提升：CatBoost 的獨特特徵之一是有序提升。傳統的提升方法存在過度擬合訓練集的風險，因為它們藉助整個資料集計算誤差。但是 CatBoost 透過使用一種技術來降低過度擬合的可能性，該技術僅使用資料集的一部分。
• 模型更新：當將新樹新增到整合時，先前樹的預測會貢獻給新樹，從而更新它生成的預測。
• 重複：重複此過程，直到模型在驗證資料集上的效能停止改進，或者達到預先指定的迭代次數。

CatBoost 提升過程的優勢

以下是在使用 CatBoost 提升過程時應瞭解的優勢 -

• 有效管理類別特徵：與以前的方法不同，CatBoost 不需要對類別特徵進行獨熱編碼或進行大量特徵工程。

• 更好的效能：CatBoost 通常在許多型別的資料上都能表現更好，尤其是在存在大量類別（如顏色或名稱）的情況下。這是因為它使用了有序提升和其他有用的方法。

總結

CatBoost 逐步構建決策樹以做出更好的預測。它在包含類別（如顏色或名稱）的資料方面非常出色。它使用有序提升和目標編碼等特殊方法來阻止模型因從訓練資料中學習過多而犯錯。這有助於模型在處理新資料時表現良好。