- 機器學習基礎
- ML - 首頁
- ML - 簡介
- ML - 入門
- ML - 基本概念
- ML - 生態系統
- ML - Python 庫
- ML - 應用
- ML - 生命週期
- ML - 技能要求
- ML - 實現
- ML - 挑戰與常見問題
- ML - 侷限性
- ML - 現實生活中的例子
- ML - 資料結構
- ML - 數學
- ML - 人工智慧
- ML - 神經網路
- ML - 深度學習
- ML - 獲取資料集
- ML - 分類資料
- ML - 資料載入
- ML - 資料理解
- ML - 資料準備
- ML - 模型
- ML - 監督學習
- ML - 無監督學習
- ML - 半監督學習
- ML - 強化學習
- ML - 監督學習與無監督學習
- 機器學習資料視覺化
- ML - 資料視覺化
- ML - 直方圖
- ML - 密度圖
- ML - 箱線圖
- ML - 相關矩陣圖
- ML - 散點矩陣圖
- 機器學習統計學
- ML - 統計學
- ML - 平均值、中位數、眾數
- ML - 標準差
- ML - 百分位數
- ML - 資料分佈
- ML - 偏度和峰度
- ML - 偏差和方差
- ML - 假設
- ML中的迴歸分析
- ML - 迴歸分析
- ML - 線性迴歸
- ML - 簡單線性迴歸
- ML - 多元線性迴歸
- ML - 多項式迴歸
- ML中的分類演算法
- ML - 分類演算法
- ML - 邏輯迴歸
- ML - K近鄰演算法（KNN）
- ML - 樸素貝葉斯演算法
- ML - 決策樹演算法
- ML - 支援向量機
- ML - 隨機森林
- ML - 混淆矩陣
- ML - 隨機梯度下降
- ML中的聚類演算法
- ML - 聚類演算法
- ML - 基於質心的聚類
- ML - K均值聚類
- ML - K中心點聚類
- ML - 均值漂移聚類
- ML - 層次聚類
- ML - 基於密度的聚類
- ML - DBSCAN聚類
- ML - OPTICS聚類
- ML - HDBSCAN聚類
- ML - BIRCH聚類
- ML - 親和傳播
- ML - 基於分佈的聚類
- ML - 凝聚層次聚類
- ML中的降維
- ML - 降維
- ML - 特徵選擇
- ML - 特徵提取
- ML - 後向消除法
- ML - 前向特徵構建
- ML - 高相關性過濾器
- ML - 低方差過濾器
- ML - 缺失值比率
- ML - 主成分分析
- 強化學習
- ML - 強化學習演算法
- ML - 利用與探索
- ML - Q學習
- ML - REINFORCE演算法
- ML - SARSA強化學習
- ML - 演員-評論家方法
- 深度強化學習
- ML - 深度強化學習
- 量子機器學習
- ML - 量子機器學習
- ML - 使用Python的量子機器學習
- 機器學習雜項
- ML - 效能指標
- ML - 自動工作流
- ML - 提升模型效能
- ML - 梯度提升
- ML - 自舉匯聚（Bagging）
- ML - 交叉驗證
- ML - AUC-ROC曲線
- ML - 網格搜尋
- ML - 資料縮放
- ML - 訓練和測試
- ML - 關聯規則
- ML - Apriori演算法
- ML - 高斯判別分析
- ML - 成本函式
- ML - 貝葉斯定理
- ML - 精度和召回率
- ML - 對抗性
- ML - 堆疊
- ML - 輪次
- ML - 感知器
- ML - 正則化
- ML - 過擬合
- ML - P值
- ML - 熵
- ML - MLOps
- ML - 資料洩露
- ML - 機器學習的貨幣化
- ML - 資料型別
- 機器學習 - 資源
- ML - 快速指南
- ML - 速查表
- ML - 面試問題
- ML - 有用資源
- ML - 討論
機器學習 - 生命週期
機器學習生命週期是構建端到端機器學習專案或ML解決方案的迭代過程。隨著資料量的不斷增長，構建機器學習模型是一個持續的過程。機器學習專注於透過使用真實世界資料訓練模型來提高系統的效能。為了使機器學習專案取得成功，我們必須遵循一些明確的步驟。機器學習生命週期為我們提供了這些明確的步驟或階段。
什麼是機器學習生命週期？
機器學習生命週期是一個迭代過程，從業務問題到機器學習解決方案。它被用作開發機器學習專案以解決問題的指南。它為我們在開發ML解決方案的每個階段提供指導和最佳實踐。
機器學習生命週期是一個涉及從問題識別到模型部署和監控的多個階段的過程。在開發ML專案時，生命週期中的每個步驟都會透過這些階段多次重新訪問。端到端機器生命週期過程中涉及的階段/階段如下：
- 問題定義
- 資料準備
- 模型開發
- 模型部署
- 監控和維護
讓我們詳細討論機器學習生命週期過程的上述階段：
問題定義
機器學習生命週期的第一步是識別要解決的問題。這是一個至關重要的步驟，它幫助你開始為問題構建機器學習解決方案。識別問題的過程將建立對輸出可能是什麼、任務範圍及其目標的理解。
由於此步驟為構建機器學習模型奠定了基礎，因此問題定義必須清晰簡潔。
此階段涉及瞭解業務問題，定義問題陳述，並確定機器學習模型的成功標準。
資料準備
資料準備是一個透過執行資料探索、特徵工程和特徵選擇來準備資料以供分析的過程。資料探索涉及視覺化和理解資料，而特徵工程則涉及從現有資料中建立新特徵。特徵選擇涉及選擇將用於訓練機器學習模型的最相關特徵。
資料準備過程包括收集資料、預處理資料以及特徵工程和特徵選擇。此階段通常還包括探索性資料分析。
讓我們討論機器學習生命週期過程的資料準備階段中涉及的每個步驟：
1. 資料收集
在分析問題陳述後，下一步將是收集資料。這涉及從各種來源收集資料，這些資料作為機器學習模型的原材料提供。在收集資料時考慮的一些功能包括：
- 相關性和實用性 - 收集的資料必須與問題陳述相關，並且必須足夠有用以有效地訓練機器學習模型。
- 質量和數量 - 收集資料的質量和數量將直接影響機器學習模型的效能。
- 多樣性 - 確保收集的資料是多元化的，以便模型可以針對多種場景進行訓練以識別模式。
資料可以從各種來源收集，例如調查、現有資料庫以及Kaggle等線上平臺。來源可能是主要資料，包括專門為問題陳述收集的資料，而次要資料則包括現有資料。
2. 資料預處理
收集到的資料通常可能是非結構化的和雜亂無章的，這會導致其對結果產生負面影響，因此預處理資料對於提高機器學習模型的準確性和效能非常重要。必須解決的問題包括缺失值、重複資料、無效資料和噪聲。
此資料預處理步驟也稱為資料整理，旨在使資料更易於使用和更適合分析。
3. 資料分析
在所有資料都排序後，就該瞭解收集到的資料了。對資料進行視覺化和統計彙總以獲得見解。
各種工具（如Power BI、Tableau）用於視覺化資料，這有助於理解資料中的模式和趨勢。此分析將有助於在特徵工程和模型選擇中做出選擇。
4. 特徵工程和選擇
“特徵”是單個可衡量的量，最好在訓練機器學習模型時觀察到。“特徵工程”是建立新特徵或增強現有特徵以準確理解資料中模式和趨勢的過程。
特徵選擇涉及挑選與問題陳述一致且更相關的特徵的過程。特徵工程和選擇過程用於減少資料集的大小，這對於解決資料增長問題非常重要。
模型開發
在模型開發階段，使用準備好的資料構建機器學習模型。模型構建過程包括選擇合適的機器學習演算法、演算法訓練、調整演算法的超引數以及使用交叉驗證技術評估模型的效能。
此階段主要包括三個步驟：模型選擇、模型訓練和模型評估。讓我們詳細討論這三個步驟：
1. 模型選擇
模型選擇是機器學習工作流程中的一個關鍵步驟。選擇模型的決定取決於基本特徵，例如資料的特徵、問題的複雜性、預期的結果以及它與定義的問題的匹配程度。此步驟會影響模型的結果和效能指標。
2. 模型訓練
在此過程中，演算法被饋送預處理資料集以識別和理解指定特徵中的模式和關係。
透過調整引數來持續訓練模型將提高預測率並提高準確性。此步驟使模型在現實世界場景中變得可靠。
3. 模型評估
在模型評估中，使用一組評估指標來評估機器學習模型的效能。這些指標衡量模型的準確性、精確率、召回率和F1分數。如果模型未達到預期的效能，則調整模型以調整超引數並提高預測準確性。這種持續的迭代對於使模型更準確和可靠至關重要。
如果模型的效能仍然不令人滿意，則可能需要返回到模型選擇階段，並繼續進行模型訓練和評估以提高模型的效能。
模型部署
在模型部署階段，我們將機器學習模型部署到生產環境中。此過程涉及將經過測試的模型與現有系統整合，以使其可供使用者、管理人員或其他目的使用。這也涉及在真實場景中測試模型。
在部署之前必須檢查的兩個重要因素是：模型是否可移植，即能夠將軟體從一臺機器轉移到另一臺機器；以及模型是否可擴充套件，即模型無需重新設計即可保持效能。
監控和維護
機器學習中的監控涉及用於衡量模型效能指標和檢測模型中問題的技術。檢測到問題後，需要使用新資料重新訓練模型或修改模型架構。
有時，當在設計模型中檢測到的問題無法透過使用新資料進行訓練來解決時，該問題就變成了問題陳述。因此，機器學習生命週期從重新分析問題到開發改進的模型開始。
機器學習生命週期是一個迭代過程，可能需要重新訪問之前的階段以提高模型的效能或滿足新的需求。透過遵循機器學習生命週期，資料科學家可以確保其機器學習模型有效、準確並滿足業務需求。