構建一個完整的 Data Science Docker 容器


毫無疑問,如今在科技界最熱門的詞語是機器學習和人工智慧。組織機構正以前所未有的速度嘗試採用機器學習技術來分析和改進其業務,並提供更高的客戶滿意度。另一方面,容器化的革命性概念極大地簡化了數百萬開發人員的生活,並幫助他們採用更好的技術來維護、重用和跟蹤專案,從而獲得無縫的體驗。

在本文中,我們將討論如何構建一個完整的 Data Science 容器。我們將建立一個包含所有必要庫和軟體包的容器化環境,幫助您開始機器學習和資料科學之旅。我們將瞭解如何在任何機器學習程式碼中安裝核心軟體包,並將它們嵌入到 Dockerfile 中以構建我們的映象。事不宜遲,讓我們看看如何做到這一點。

首先,讓我們看看構建基本的機器學習 Python 指令碼需要安裝哪些 Python 庫。

  • **Pandas** - 它透過幫助我們維護結構化和非結構化資料集來幫助執行資料分析。它還提供重塑和組織資料的工具,以便從中提取重要的見解。

  • **Numpy** - 它提供計算大型矩陣和多維陣列的方法。它擁有眾多預編譯的方法,使計算成本低於普通代數。

  • **Matplotlib** - 它透過在特徵之間繪製圖形來幫助您從資料框中獲取重要的見解,並幫助您仔細檢查資料點,從而幫助您確定哪個機器學習模型適合您的問題陳述。

  • **Scikit-learn** - 此軟體包是所有機器學習 Python 指令碼的核心。它包含眾多機器學習演算法。無論是監督演算法還是無監督演算法,應有盡有。它還可以幫助您拆分資料集、透過刪除非法值來構建資料集等等。

  • **Scipy** - 此庫幫助您非常輕鬆地在資料集中執行科學計算。它提供了幾種方法來執行高階操作,例如計算機率、轉換等。

  • **NLTK** - 如果您正在 NLP 領域工作,您肯定聽說過這個庫。它可以幫助您執行詞幹提取、詞形還原、詞性標註、語義分析等。

現在我們已經瞭解了用於機器學習和資料科學的核心庫,我們將嘗試構建 Dockerfile 來安裝這些軟體包。

我們將使用 Alpine 作為我們的基礎映象以獲取 Python 環境,因為它的大小非常小。

檢視下面的 Dockerfile。

FROM alpine:latest

WORKDIR /usr/src/app

RUN apt-get −y update
RUN pip3 install −r requirements.txt
RUN [ "python3", "−c", "import nltk; nltk.download('all')" ]

CMD ["python3"]

上面的 Dockerfile 拉取 Alpine 映象,設定工作目錄,執行 apt-get 命令,從 requirements 檔案安裝庫,並下載 nltk 庫中的所有方法以供使用。

requirements 檔案應包含以下內容:

pandas
numpy
matplotlib
scikit-learn
scipy
nltk

建立 Dockerfile 和 requirements.txt 檔案後,您可以使用 docker build 命令構建 Docker 映象。

sudo docker build −t <username>/<image−name>:<tag−name> .

-t 標記用於標記映象。雖然不是必須的,但始終建議這樣做。

成功構建映象後,您可以使用以下 docker run 命令執行 Docker 容器。

sudo docker run −it <username>/<image−name>:<tag−name>

總之,在本文中,我們瞭解瞭如何構建一個 Docker 容器,其中包含開始機器學習和資料科學之旅所需的所有基本 Python 庫和軟體包。您始終可以透過啟動 bash 並根據需要執行相應的命令來安裝其他庫。

更新於: 2020年10月27日

152 次瀏覽

開啟您的 職業生涯

透過完成課程獲得認證

開始學習
廣告