OpenVINO 工作流程

本章我们将学习 OpenVINO 的工作流程以及读取、编译和转换 OpenVINO 的方法。

OpenVINO 工作流程

以下是 OpenVINO 工具包的分步步骤（工作流程）：

步骤 1：规划和设置

确定必要的配置。然后，识别模型类型和框架。

步骤 2：选择模型

在此步骤中，从 Open Model Zoo 查找或训练模型，然后检查模型是否足够准确。如果模型不够准确，请重新训练。

步骤 3：修改

运行模型优化器将模型转换为中间表示，并检查模型是否成功转换。如果失败，请修复错误或创建自定义层。如果仍然无法解决，请联系英特尔支持或尝试其他模型。现在，我们将进入下一步：调优。

步骤 4：调优

现在，在模型上运行推理引擎，并检查其速度是否足够快且精度可以接受。如果不行，请尝试对模型进行高级调优。如果高级调优仍然无效，请尝试基于硬件的干预或训练扩展。

步骤 5：部署

在此步骤中，将模型集成到管道或应用程序中。准备好包后，只需部署应用程序和模型即可。

读取、编译和转换模型

以下是用于转换、读取和编译的模型。

Read_model

• 从文件中构建 ov.Model。
• 支持的文件格式：ONNX、OpenVINO IR、PaddlePaddle、TensorFlow Lite 和 TensorFlow。不支持直接使用 PyTorch 文件。
• 直接读取 OpenVINO 文件，其他格式会自动转换。

Compile_model

• 从文件或 ov.Model 对象构建 ov.CompiledModel。
• 支持的文件格式：OpenVINO IR、ONNX、
• PaddlePaddle、TensorFlow 和 TensorFlow Lite。不支持直接使用 PyTorch 文件。
• 直接读取 OpenVINO 文件，其他格式会自动转换。

Convert_model

• 从文件或 Python 内存对象构建 ov.Model。
• 支持的文件格式为 PaddlePaddle、ONNX、TensorFlow Lite 和 TensorFlow。
• 支持的框架对象：TensorFlow、PaddlePaddle 和 PyTorch。
• 此过程仅在 Python API 中可用。
• 将 ov.Model 保存为 OpenVINO IR 格式。
• 默认情况下将权重压缩为 FP16。
• 此过程仅在 Python API 中可用。