OpenVINO 工作流程

本章我們將學習 OpenVINO 的工作流程以及讀取、編譯和轉換 OpenVINO 的方法。

OpenVINO 工作流程

以下是 OpenVINO 工具包的分步步驟（工作流程）：

步驟 1：規劃和設定

確定必要的配置。然後，識別模型型別和框架。

步驟 2：選擇模型

在此步驟中，從 Open Model Zoo 查詢或訓練模型，然後檢查模型是否足夠準確。如果模型不夠準確，請重新訓練。

步驟 3：修改

執行模型最佳化器將模型轉換為中間表示，並檢查模型是否成功轉換。如果失敗，請修復錯誤或建立自定義層。如果仍然無法解決，請聯絡英特爾支援或嘗試其他模型。現在，我們將進入下一步：調優。

步驟 4：調優

現在，在模型上執行推理引擎，並檢查其速度是否足夠快且精度可以接受。如果不行，請嘗試對模型進行高階調優。如果高階調優仍然無效，請嘗試基於硬體的干預或訓練擴充套件。

步驟 5：部署

在此步驟中，將模型整合到管道或應用程式中。準備好包後，只需部署應用程式和模型即可。

讀取、編譯和轉換模型

以下是用於轉換、讀取和編譯的模型。

Read_model

• 從檔案中構建 ov.Model。
• 支援的檔案格式：ONNX、OpenVINO IR、PaddlePaddle、TensorFlow Lite 和 TensorFlow。不支援直接使用 PyTorch 檔案。
• 直接讀取 OpenVINO 檔案，其他格式會自動轉換。

Compile_model

• 從檔案或 ov.Model 物件構建 ov.CompiledModel。
• 支援的檔案格式：OpenVINO IR、ONNX、
• PaddlePaddle、TensorFlow 和 TensorFlow Lite。不支援直接使用 PyTorch 檔案。
• 直接讀取 OpenVINO 檔案，其他格式會自動轉換。

Convert_model

• 從檔案或 Python 記憶體物件構建 ov.Model。
• 支援的檔案格式為 PaddlePaddle、ONNX、TensorFlow Lite 和 TensorFlow。
• 支援的框架物件：TensorFlow、PaddlePaddle 和 PyTorch。
• 此過程僅在 Python API 中可用。
• 將 ov.Model 儲存為 OpenVINO IR 格式。
• 預設情況下將權重壓縮為 FP16。
• 此過程僅在 Python API 中可用。