OpenVINO 教程
OpenVINO 教程
本教程旨在向您介紹英特爾的 OpenVINO 工具包，該工具包可與各種硬體平臺協同工作以提升深度學習效能。本教程對初學者和經驗豐富的開發人員都有幫助。在這裡，您將找到包含實際示例的分步說明。
什麼是 OpenVINO？
OpenVINO 是一款開源軟體工具包，旨在最佳化和部署 AI 模型。它代表 Open Visual Inference and Neural Network Optimization（開放式視覺推理和神經網路最佳化）。它允許開發人員僅使用幾行程式碼構建可擴充套件且高效的 AI 驅動的解決方案。
OpenVINO 是一款跨平臺工具包，使用 C++ 編寫，並由英特爾公司於 2018 年開發。根據 Apache License 2.0，該軟體可免費使用。OpenVINO 工具包在 GitHub 上的儲存庫是 github.com/openvinotoolkit/openvino。
OpenVINO 主要包含兩個元件：介面引擎和模型最佳化器。除了這兩個主要元件外，OpenVINO 還擁有一個預訓練模型庫。
OpenVINO 是一款 AI 工具包，旨在實現“一次編寫，隨處部署”。
OpenVINO 模型格式
OpenVINO IR 是用於執行推理的標準格式。它以一對檔案（*.bin 和 *.xml）的形式儲存，分別包含權重和拓撲結構。此格式是透過使用應用程式的 API 或特定轉換器從受支援的框架之一轉換模型獲得的。
OpenVINO 支援以下模型格式：
- PaddlePaddle - 由百度開發的深度學習平臺，提供了一套用於模型訓練、最佳化和部署的工具和庫。主要適用於自然語言處理任務。
- ONNX（包括可序列化為 ONNX 的格式） - ONNX（開放神經網路交換）允許輕鬆地將模型從一個框架轉換為另一個框架。它用於跨多個平臺共享和部署模型。
- PyTorch - 用於開發和訓練模型的深度學習框架。它擁有一個使用者
- TensorFlow - 用於機器學習的開源工具，提供了一系列用於模型開發和部署的工具和庫。它也用於深度學習任務。
OpenVINO 的主要功能
以下是 OpenVINO 的主要功能：
1. 模型壓縮
要在本地執行推理，您可以直接連結 OpenVINO 執行時，也可以使用模型伺服器從不同的伺服器或 Kubernetes 環境中提供 OpenVINO 模型。
2. 快速且可擴充套件的部署
OpenVINO 應用程式是“一次編寫，隨處部署”，這意味著一旦您構建了模型，就可以將其部署到任何硬體平臺上。在程式語言和作業系統方面也具有靈活性，因為 OpenVINO 支援 Linux、Windows 和 MacOS，並提供 Python、C++ 和 C API。
3. 更輕量的部署
OpenVINO 的建立減少了外部依賴項，從而減少了應用程式的佔用空間，簡化了安裝和依賴項處理。您可以透過自定義編譯特定模型來進一步減小最終二進位制檔案的大小。
4. 增強應用程式啟動時間
如果您正在尋找快速啟動，那麼 OpenVINO 可以透過使用 CPU 進行初始介面來減少第一個介面的延遲，之後在模型編譯完成後並打包到記憶體中時切換到其他機器。這些編譯後的模型會被快取，這使得啟動時間更好。
下載和安裝 OpenVINO
從英特爾網站獲取英特爾版 OpenVINO 工具包。目前，如果您沒有英特爾帳戶，則需要建立一個帳戶，登入，然後繼續到下載頁面。選擇版本 2024.3 TLS 並輸入您的驗證碼。
以下步驟適用於 64 位作業系統的 Ubuntu 16.04：
步驟 1：解壓安裝包
- 開啟一個 cmd 提示符視窗
- 移動到您下載英特爾版 OpenVINO 工具包（適用於 Linux）的目錄。如果您將軟體包儲存在“下載”資料夾中，則執行：cd ~/Downloads/。檔案通常命名為 l_openvino_toolkit_p_<version>.tgz。
- 解壓 .tgz 檔案：tar -xvzf l_openvino_toolkit_p_.tgz
步驟 2：開始安裝 OpenVINO
開啟一個終端，移動到解壓後建立的資料夾，然後執行安裝命令。
選擇 1 - 使用 GUI 安裝嚮導：sudo ./install_GUI.sh
選擇 2 - 遵循命令列說明：sudo ./install.sh
以 root 身份安裝時，OpenVINO 的預設安裝目錄為 /opt/intel/openvino_<version>/
完成安裝過程，指示 OpenVINO 已安裝。
步驟 3：安裝外部軟體需求
注意：如果您將 OpenVINO 安裝到預設目錄以外的目錄中，請將 /opt/intel 替換為您安裝目錄的路徑。
所需的依賴項為：
- 英特爾最佳化的 OpenCV 庫版本
- 深度學習推理引擎
- 深度學習模型最佳化器工具
1. 更改到 install_dependencies 路徑：cd /opt/intel/openvino/install_dependencies
2. 執行程式碼以下載並安裝外部軟體需求：sudo -E ./install_openvino_dependencies.sh
步驟 4：設定環境變數
在編譯和執行 OpenVINO 應用程式之前，您需要更新多個環境變數。
使用以下說明設定 env 變數：
- 在 <user_directory> 中開啟 .bashrc 檔案：vi /.bashrc
- 在檔案末尾新增以下命令：source /opt/intel/openvino/bin/setupvars.sh
- 按 Esc 鍵並 Enter 儲存並關閉檔案：wq
- 要測試您的更改，請開啟一個新終端。您會注意到：[setupvars.sh] OpenVINO 環境已準備就緒。
配置成功。
步驟 5：設定模型最佳化器
- 移動到模型最佳化器的先決條件路徑：cd/opt/intel/openvino/deployment_tools/model_optimizer/install_prerequisites
- 執行以下程式碼以設定 Caffe、TensorFlow、MXNet、Kaldi 和 ONNX 的模型最佳化器：$ sudo ./install_prerequisites.sh
您也可以根據需要執行特定版本：
- Kaldi - sudo ./install_prerequisites_kaldi.sh
- MXNet - sudo ./install_prerequisites_mxnet.sh
- TensorFlow - sudo ./install_prerequisites_tf.sh
- ONNX - sudo ./install_prerequisites_onnx.sh
- Caffe - sudo ./install_prerequisites_caffe.sh
學習 OpenVINO 的先決條件
要學習 OpenVINO，您需要了解程式語言的基礎知識，特別是 Python 或 C++。您還應該對深度學習概念（包括神經網路）有中級理解，以便了解 OpenVINO 的工作原理。
誰可以學習 OpenVINO？
任何人都可以學習 OpenVINO，包括資料科學家、軟體開發人員和 AI/ML 工程師。人工智慧、機器學習、深度學習、自然語言處理或計算機視覺等領域的大學生也可以從中受益，因為他們可以獲得寶貴的模型最佳化經驗。
OpenVINO 常見問題解答
1. OpenVINO 工具包用於什麼？
OpenVINO 工具包用於開發和部署機器學習模型。它們允許使用者“一次編寫，隨處部署”。
2. OpenVINO 的功能是什麼？
OpenVINO 是英特爾公司開發的一款軟體工具包，有助於增強和最佳化 AI 模型。
3. 在哪裡下載 OpenVINO？
要下載 OpenVINO，您需要訪問 OpenVINO 工具包下載頁面。選擇您的作業系統並下載相應的版本。
4. OpenVINO 是否適用於 AMD？
OpenVINO 工具包僅官方支援英特爾硬體。
5. OpenVINO 支援哪些作業系統？
OpenVINO 支援 Linux、Windows 和 MacOS。它還允許您使用您喜歡的程式語言。
6. OpenVINO 是一個開源平臺嗎？
是的，OpenVino 是英特爾公司於 2018 年開發的開源深度學習軟體工具包。
7. OpenVINO 是否支援邊緣裝置？
是的，OpenVINO 支援邊緣裝置，允許在英特爾驅動的硬體上進行高效能 AI 處理。
8. OpenVINO 支援哪些型別的硬體？
OpenVINO 支援的硬體包括英特爾 CPU、英特爾 GPU、英特爾 VPU、英特爾 FPGA 和英特爾神經計算棒。