資料結構
網路
關係資料庫管理系統 (RDBMS)
作業系統
Java
MS Excel
iOS
HTML
CSS
Android
Python
C語言程式設計
C++
C#
MongoDB
MySQL
Javascript
PHP
物理學
化學
生物學
數學
英語
經濟學
心理學
社會學
服裝設計
法學理解Python和Scikit-Learn中的管道
介紹
Python是一種靈活的程式語言，擁有豐富的庫和框架。Scikit-learn是一個流行的庫，它提供了豐富的工具用於機器學習和資料分析。本文將深入探討Python和scikit-learn中管道的概念。管道是組織和簡化機器學習工作流程的有效工具，允許您將多個數據預處理和建模步驟連結在一起。我們將探討三種不同的構建管道的方法，對每種方法進行簡要解釋，幷包含完整的程式碼和輸出。
理解Python中的管道？
管道是Python機器學習工作流程中的一個基本組成部分。它們提供了一種高效且有效的方法，可以將多個數據處理和建模步驟組織成一個具有凝聚力和可重複性的系統。
在高層次上，Python中的管道是資料轉換步驟和一個模型或估計器的組合，它們被連結在一起形成一個單元。管道中的每個步驟代表一個特定的資料處理任務，例如特徵縮放、降維或編碼分類變數。管道中的最後一步通常是一個機器學習模型或估計器，它進行預測或執行所需的任務。
管道的基本目的是簡化機器學習工作流程並自動化資料預處理和模型訓練中涉及的重複步驟。透過將這些步驟封裝在管道中，可以更容易地將相同的轉換應用於新資料，或者在不同的模型之間切換，而無需重寫程式碼。管道還提高了程式碼的可重用性、模組化和跨不同專案的一致性。
使用管道的一個關鍵優勢是能夠避免資料洩漏。資料洩漏是指測試或驗證資料中的資訊意外地影響模型訓練的情況，從而導致過於樂觀的效能估計。管道有助於緩解這個問題，因為它確保管道中的每個步驟（例如特徵縮放或特徵提取）都分別應用於訓練和測試資料。這防止了來自測試集的資料洩漏到訓練過程中。
管道還可以促進超引數調整和模型選擇。透過將整個管道封裝在一個物件中，可以很容易地對不同的超引數值進行網格搜尋或隨機搜尋，並使用交叉驗證評估不同模型的效能。這允許對不同的建模策略進行全面而有效的比較。
方法一：順序連結轉換器和估計器
第一種方法包括使用scikit-learn的Pipeline類順序連結轉換器和估計器。這允許我們定義一系列資料預處理步驟，然後進行機器學習模型訓練。讓我們考慮一個示例，我們有一組文字文件資料集，我們需要進行文字預處理，然後訓練一個分類器。
程式碼如下：
演算法
步驟1：匯入必要的庫。
步驟2：匯入scikit-learn中的Pipeline以及您計劃使用的任何特定轉換器和估計器。
步驟3：建立名為X_train和y_train的樣本訓練資料。
步驟4：使用Pipeline類建立一個管道，並傳入一個元組列表。每個元組包含步驟的名稱和轉換器或估計器的例項。
步驟5：使用fit()方法擬合管道，利用訓練資料進行訓練。
步驟6：定義您的測試資料（X_test）和（y_test）。
步驟7：預測測試資料。
步驟8：評估模型，最後列印準確率。
示例
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
# Sample training data
X_train = ["This is a sample text.", "Another example sentence.", "Text for training purposes."]
y_train = [1, 0, 1] # Sample labels corresponding to the training data
# Define the pipeline
pipeline = Pipeline([
('tfidf', TfidfVectorizer()),
('classifier', LogisticRegression())
])
# Fit the pipeline on the training data pipeline.fit(X_train, y_train)
# Sample testing data
X_test = ["Test prediction for this sentence.", "Another test sentence."] y_test = [1, 0] # Sample labels corresponding to the testing data
y_pred = pipeline.predict(X_test)
# Evaluate the model
accuracy = pipeline.score(X_test, y_test)
print("Accuracy:", accuracy)
輸出
Accuracy: 0.5
方法二：針對不同資料型別的列轉換器
第二種方法包括使用scikit-learn的ColumnTransformer類對輸入資料的不同列應用不同的預處理步驟。讓我們考慮一個示例，我們有一個包含數值列和分類列的資料集，我們需要對每種型別的列應用不同的預處理步驟。
程式碼如下：
演算法
步驟1：匯入必要的庫。
步驟2：匯入scikit-learn中的ColumnTransformer以及您計劃使用的任何轉換器和估計器。
步驟3：定義您的訓練資料（X_train）和目標變數名（y_train）。
步驟4：確定資料集中數值列和分類列的索引。
步驟5：建立一個名為preprocessor的ColumnTransformer，並指定不同列型別的轉換器列表。
步驟6：使用Pipeline類定義您的管道，並將ColumnTransformer變數作為其中一個步驟傳入。
步驟7：使用fit()方法擬合管道，利用訓練資料進行訓練。
步驟8：定義名為（X_test）和（y_test）的樣本測試資料。
步驟9：使用predict()方法預測測試資料。
步驟10：使用合適的評估指標評估模型的效能。
示例
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.linear_model import LinearRegression
# Sample training data
X_train = [
[25, "Male", 150],
[40, "Female", 200],
[35, "Male", 180]
]
y_train = [500, 700, 600] # Sample labels corresponding to the training data
# Define the numerical and categorical column indices
num_cols = [0, 2] # Indices of the numerical columns cat_cols = [1] #
Indices of the categorical column
# Define the column transformer
preprocessor = ColumnTransformer( transformers=[
('num', StandardScaler(), num_cols),
('cat', OneHotEncoder(), cat_cols)
])
# Define the pipeline with preprocessor and estimator
pipeline = Pipeline([
('preprocessor', preprocessor),
('regressor', LinearRegression())
])
# Fit the pipeline on the training data pipeline.fit(X_train, y_train)
# Sample testing data
X_test = [
[30, "Female", 170],
[45, "Male", 160]
]
y_test = [550, 650] # Sample labels corresponding to the testing data
# Predict on the testing data
y_pred = pipeline.predict(X_test)
# Evaluate the model
r2_score = pipeline.score(X_test, y_test)
print("R2 Score:", r2_score)
輸出
R2 Score: 0.29133056621505493
結論
理解Python中的管道對於高效且有效的機器學習工作流程至關重要。管道提供了一種系統化的方法來進行資料預處理、模型訓練和預測，確保程式碼的一致性、可重複性和質量。透過將整個工作流程封裝在一個管道物件中，您可以簡化複雜的機器學習任務，避免資料洩漏，並提高程式碼的可讀性和可維護性。藉助scikit-learn的Pipeline類，您可以有效地利用管道來簡化您的機器學習專案並獲得有意義的結果。
瀏覽量：170
