2022 年最佳 MLOps 工具和平臺
MLOps(機器學習運維)已成為當前人工智慧世界的一個趨勢。任何機器學習過程都包含多個操作。這包括資料版本控制、特徵工程、模型監控、實驗跟蹤、模型服務、模型部署等。市場上有許多工具和平臺可以幫助您完成這些流程,並透過適當的風險分析高效地完成工作。但是,在為您的專案選擇產品或平臺之前,您應該徹底研究它。此外,您必須確保這些工具與您其餘的堆疊相容。因此,以下是您可以根據需求為專案考慮的流行工具和平臺列表。
MLFlow
MLfLow 是一個免費的開源平臺,用於自動化機器學習過程。MLflow 跟蹤、MLflow 模型、MLflow 專案和模型登錄檔是四個主要元件。MLflow 透過允許使用者跟蹤他們的實驗、使用打包程式碼進行可重複的測試以及共享和部署他們的模型來促進機器學習開發。MLflow 相容任何語言、機器學習庫和現有程式碼。它具有靈活性和可擴充套件性,可以滿足個人使用者和大型企業的需要。它可以使用 Apache Spark 擴充套件到海量資料。它還擁有一個龐大的使用者社群作為支援。
Kubeflow
Kubeflow 是一個免費的開源平臺,用於開發和部署機器學習模型。它最初由 Google 作為 Kubernetes 的機器學習工具包設計,現在由 Kubeflow 社群維護。它允許您快速以各種格式部署模型,包括 Jupyter notebook、Docker 映象和 TensorFlow 模型。您可以在您的計算機、雲端或 Kubernetes 叢集上執行它們。Kubeflow 旨在具有可擴充套件性和多功能性。它與各種程式語言、資料處理框架和雲提供商相容,包括 AWS、Azure、Google Cloud、Canonical、IBM Cloud 等。
Metaflow
Metaflow 是一個開源 MLOps 平臺,用於在業務層面建立和管理大規模資料科學計劃。此平臺允許資料科學家從頭到尾設計和部署機器學習模型。它與所有主要的資料科學庫(包括 TensorFlow 和 scikit-learn)相容,因此您可以繼續使用您喜歡的工具。它會自動對所有測試進行版本控制和跟蹤。您不會丟失任何重要內容,並且能夠在筆記本中檢視所有測試的結果。
Prefect
Prefect 是一款現代的工作流管理應用程式,允許您構建、執行和監控資料管道以編排資料堆疊。它是一個開源專案管理解決方案,由 Prefect Core 工作流引擎提供支援。它是一個功能齊全的工作流自動化平臺,具有強大的資料工程方法。它透過提供更高的測試覆蓋率、更多的單元測試和高質量的文件來超越競爭的工作流管理應用程式。Prefect 帶有一個一致的即時介面,允許您跟蹤狀態更新和日誌、啟動新的執行並根據需要捕獲關鍵資料。
Comet
Comet 是一個基於雲的元機器學習平臺,允許資料科學家和團隊跟蹤、解釋、改進和比較實驗和模型。它支援程式碼、超引數、指標、預測、依賴項、機器指標等,用於專案評估和比較。它透過專門用於視覺、音訊、書面材料和表格資料的模組實現樣本視覺化。它與當今的機器學習庫相容。
MLReef
MLReef 是一個 MLOps 平臺,允許團隊協作和共享機器學習實驗結果。專案建立在您或社群建立的可重用機器學習模組之上。鼓勵併發性可以加快開發速度並提高工作流效率。每個開發人員都可以訪問已容器化和版本化的指令碼儲存庫,這些儲存庫可以在機器學習工作流中使用。您可以使用 MLReef 在專案迭代過程中跟蹤您的實驗。
BentoML
BentoML 是一個完整的機器學習模型服務解決方案。它使資料科學團隊能夠建立生產就緒的模型服務端點,同時遵循 DevOps 最佳實踐並在每個級別最佳化效能。它提供了一個通用且快速的平臺,用於在生產環境中服務、管理和部署機器學習模型。它與各種機器學習框架相容,包括 PyTorch、Tensorflow、Keras、XGboost 等。它是一個有用的模型服務工具,允許您提供高效能線上 API 和離線批處理。它透過高效能模型伺服器提供靈活的工作流。
Censius.ai
它是您 MLOps 工具堆疊的終極模型監控平臺,因為它不僅允許您監控模型,還可以解釋其決策並建立對 AI 的信任。您可以監控模型是否存在漂移、資料更改和效能指標,並在出現問題時通知模型所有者。它可以跟蹤和衡量多達 12 種不同的指標,包括精確率、召回率、特異性、靈敏度等。它執行根本原因分析以確定所有模型更改的發生原因、方式和位置。此工具使監控管道、分析問題和解釋模型變得輕而易舉。
KFServing
KFServing 簡化了使用流行的機器學習框架(如 XGBoost、TensorFlow、scikit-learn、PyTorch 和 ONNX)提供生產模型。該工具為在 Kubernetes 上部署 ML 模型提供了一個統一且使用者友好的介面。它使用 Kubernetes 自定義資源定義 (CRD) 在各種框架中提供機器學習模型。自動縮放、健康檢查、網路和伺服器配置的複雜性被抽象化。這項基於 Kubernetes 的技術有助於管理無伺服器工作負載。
DVC(資料版本控制)
DVC 是資料科學計劃的有用工具之一。它允許複製 ML 模型並在團隊之間共享結果。它有助於管理 ML 管道的複雜性,允許您多次訓練相同的模型。它使團隊能夠跟蹤版本檔案以快速參考 ML 模型及其結果。它對 Git 分支具有完全控制權。當資料集根據約定命名不當時,團隊成員可能會感到困惑;DVC 可以幫助準確地標記資料集。如果使用者需要額外的 RAM,他們可以使用配備 GPU 的 PC、筆記型電腦或雲資源。