機器學習 - 特徵選擇

特徵選擇是機器學習中一個重要的步驟，它涉及選擇可用特徵的一個子集來提高模型的效能。以下是常用的一些特徵選擇技術：

過濾方法

此方法透過計算統計量（例如，相關性、互資訊、卡方檢驗等）來評估每個特徵的相關性，並根據其分數對特徵進行排序。然後，將得分低的特徵從模型中移除。

要在 Python 中實現過濾方法，可以使用 `sklearn.feature_selection` 模組中的 `SelectKBest` 或 `SelectPercentile` 函式。下面是一個實現特徵選擇的簡短程式碼片段。

from sklearn.feature_selection import SelectPercentile, chi2
selector = SelectPercentile(chi2, percentile=10)
X_new = selector.fit_transform(X, y)

包裝方法

此方法透過新增或刪除特徵來評估模型的效能，並選擇產生最佳效能的特徵子集。這種方法計算成本很高，但比過濾方法更準確。

要在 Python 中實現包裝方法，可以使用 `sklearn.feature_selection` 模組中的 `RFE`（遞迴特徵消除）函式。下面是一個實現包裝方法的簡短程式碼片段。

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

estimator = LogisticRegression()
selector = RFE(estimator, n_features_to_select=5)
selector = selector.fit(X, y)
X_new = selector.transform(X)

嵌入方法

此方法涉及將特徵選擇融入模型構建過程中本身。這可以使用諸如 Lasso 迴歸、Ridge 迴歸或決策樹之類的技術來完成。這些方法為每個特徵分配權重，權重低的特徵將從模型中移除。

要在 Python 中實現嵌入方法，可以使用 `sklearn.linear_model` 模組中的 Lasso 或 Ridge 迴歸函式。下面是一個實現嵌入方法的簡短程式碼片段：

from sklearn.linear_model import Lasso

lasso = Lasso(alpha=0.1)
lasso.fit(X, y)
coef = pd.Series(lasso.coef_, index = X.columns)
important_features = coef[coef != 0]

主成分分析 (PCA)

這是一種無監督學習方法，它涉及將原始特徵轉換為一組不相關的解釋資料中最大方差的主成分。可以根據閾值選擇主成分的數量，從而降低資料集的維數。

要在 Python 中實現 PCA，可以使用 `sklearn.decomposition` 模組中的 PCA 函式。例如，要減少特徵數量，可以使用以下程式碼所示的 PCA：

from sklearn.decomposition import PCA
pca = PCA(n_components=3)
X_new = pca.fit_transform(X)

遞迴特徵消除 (RFE)

此方法涉及遞迴地消除最不重要的特徵，直到識別出最重要的特徵子集。它使用基於模型的方法，計算成本可能很高，但在高維資料集中可以產生良好的結果。

要在 Python 中實現 RFE，可以使用 `sklearn.feature_selection` 模組中的 `RFECV`（帶交叉驗證的遞迴特徵消除）函式。例如，以下是一個可以使用遞迴特徵消除的簡短程式碼片段：

from sklearn.feature_selection import RFECV
from sklearn.tree import DecisionTreeClassifier
estimator = DecisionTreeClassifier()
selector = RFECV(estimator, step=1, cv=5)
selector = selector.fit(X, y)
X_new = selector.transform(X)

這些特徵選擇技術可以單獨使用或組合使用以提高機器學習模型的效能。根據資料集的大小、特徵的性質和所使用的模型型別選擇合適的技術非常重要。

示例

在下面的示例中，我們將實現三種特徵選擇方法：使用卡方檢驗的單變數特徵選擇、帶交叉驗證的遞迴特徵消除 (RFECV) 和主成分分析 (PCA)。

我們將使用包含在 scikit-learn 中的乳腺癌威斯康星州（診斷）資料集。該資料集包含 569 個樣本和 30 個特徵，任務是根據這些特徵對腫瘤是惡性還是良性進行分類。

以下是將這些特徵選擇方法應用於乳腺癌威斯康星州（診斷）資料集的 Python 程式碼：

# Import necessary libraries and dataset
import pandas as pd
from sklearn.datasets import load_diabetes
from sklearn.feature_selection import SelectKBest, chi2
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# Load the dataset
diabetes = pd.read_csv(r'C:\Users\Leekha\Desktop\diabetes.csv')

# Split the dataset into features and target variable
X = diabetes.drop('Outcome', axis=1)
y = diabetes['Outcome']

# Apply univariate feature selection using the chi-square test
selector = SelectKBest(chi2, k=4)
X_new = selector.fit_transform(X, y)

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X_new, y, test_size=0.3, random_state=42)

# Fit a logistic regression model on the selected features
clf = LogisticRegression()
clf.fit(X_train, y_train)

# Evaluate the model on the test set
accuracy = clf.score(X_test, y_test)
print("Accuracy using univariate feature selection: {:.2f}".format(accuracy))

# Recursive feature elimination with cross-validation (RFECV)
estimator = LogisticRegression()
selector = RFECV(estimator, step=1, cv=5)
selector.fit(X, y)
X_new = selector.transform(X)
scores = cross_val_score(LogisticRegression(), X_new, y, cv=5)
print("Accuracy using RFECV feature selection: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))

# PCA implementation
pca = PCA(n_components=5)
X_new = pca.fit_transform(X)
scores = cross_val_score(LogisticRegression(), X_new, y, cv=5)
print("Accuracy using PCA feature selection: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))

輸出

執行此程式碼時，它將在終端上產生以下輸出：

Accuracy using univariate feature selection: 0.74
Accuracy using RFECV feature selection: 0.77 (+/- 0.03)
Accuracy using PCA feature selection: 0.75 (+/- 0.07)

列印頁面