OpenVINO 教程
OpenVINO 教程
本教程旨在向您介绍英特尔的 OpenVINO 工具包，该工具包可与各种硬件平台协同工作以提升深度学习性能。本教程对初学者和经验丰富的开发人员都有帮助。在这里，您将找到包含实际示例的分步说明。
什么是 OpenVINO？
OpenVINO 是一款开源软件工具包，旨在优化和部署 AI 模型。它代表 Open Visual Inference and Neural Network Optimization（开放式视觉推理和神经网络优化）。它允许开发人员仅使用几行代码构建可扩展且高效的 AI 驱动的解决方案。
OpenVINO 是一款跨平台工具包，使用 C++ 编写，并由英特尔公司于 2018 年开发。根据 Apache License 2.0，该软件可免费使用。OpenVINO 工具包在 GitHub 上的存储库是 github.com/openvinotoolkit/openvino。
OpenVINO 主要包含两个组件：接口引擎和模型优化器。除了这两个主要组件外，OpenVINO 还拥有一个预训练模型库。
OpenVINO 是一款 AI 工具包，旨在实现“一次编写，随处部署”。
OpenVINO 模型格式
OpenVINO IR 是用于运行推理的标准格式。它以一对文件（*.bin 和 *.xml）的形式存储，分别包含权重和拓扑结构。此格式是通过使用应用程序的 API 或特定转换器从受支持的框架之一转换模型获得的。
OpenVINO 支持以下模型格式：
- PaddlePaddle - 由百度开发的深度学习平台，提供了一套用于模型训练、优化和部署的工具和库。主要适用于自然语言处理任务。
- ONNX（包括可序列化为 ONNX 的格式） - ONNX（开放神经网络交换）允许轻松地将模型从一个框架转换为另一个框架。它用于跨多个平台共享和部署模型。
- PyTorch - 用于开发和训练模型的深度学习框架。它拥有一个用户
- TensorFlow - 用于机器学习的开源工具，提供了一系列用于模型开发和部署的工具和库。它也用于深度学习任务。
OpenVINO 的主要功能
以下是 OpenVINO 的主要功能：
1. 模型压缩
要在本地运行推理，您可以直接链接 OpenVINO 运行时，也可以使用模型服务器从不同的服务器或 Kubernetes 环境中提供 OpenVINO 模型。
2. 快速且可扩展的部署
OpenVINO 应用程序是“一次编写，随处部署”，这意味着一旦您构建了模型，就可以将其部署到任何硬件平台上。在编程语言和操作系统方面也具有灵活性，因为 OpenVINO 支持 Linux、Windows 和 MacOS，并提供 Python、C++ 和 C API。
3. 更轻量的部署
OpenVINO 的创建减少了外部依赖项，从而减少了应用程序的占用空间，简化了安装和依赖项处理。您可以通过自定义编译特定模型来进一步减小最终二进制文件的大小。
4. 增强应用程序启动时间
如果您正在寻找快速启动，那么 OpenVINO 可以通过使用 CPU 进行初始接口来减少第一个接口的延迟，之后在模型编译完成后并打包到内存中时切换到其他机器。这些编译后的模型会被缓存，这使得启动时间更好。
下载和安装 OpenVINO
从英特尔网站获取英特尔版 OpenVINO 工具包。目前，如果您没有英特尔帐户，则需要创建一个帐户，登录，然后继续到下载页面。选择版本 2024.3 TLS 并输入您的验证码。
以下步骤适用于 64 位操作系统的 Ubuntu 16.04：
步骤 1：解压安装包
- 打开一个 cmd 提示符窗口
- 移动到您下载英特尔版 OpenVINO 工具包（适用于 Linux）的目录。如果您将软件包保存在“下载”文件夹中，则运行：cd ~/Downloads/。文件通常命名为 l_openvino_toolkit_p_<version>.tgz。
- 解压 .tgz 文件：tar -xvzf l_openvino_toolkit_p_.tgz
步骤 2：开始安装 OpenVINO
打开一个终端，移动到解压后创建的文件夹，然后运行安装命令。
选择 1 - 使用 GUI 安装向导：sudo ./install_GUI.sh
选择 2 - 遵循命令行说明：sudo ./install.sh
以 root 身份安装时，OpenVINO 的默认安装目录为 /opt/intel/openvino_<version>/
完成安装过程，指示 OpenVINO 已安装。
步骤 3：安装外部软件需求
注意：如果您将 OpenVINO 安装到默认目录以外的目录中，请将 /opt/intel 替换为您安装目录的路径。
所需的依赖项为：
- 英特尔优化的 OpenCV 库版本
- 深度学习推理引擎
- 深度学习模型优化器工具
1. 更改到 install_dependencies 路径：cd /opt/intel/openvino/install_dependencies
2. 运行代码以下载并安装外部软件需求：sudo -E ./install_openvino_dependencies.sh
步骤 4：设置环境变量
在编译和运行 OpenVINO 应用程序之前，您需要更新多个环境变量。
使用以下说明设置 env 变量：
- 在 <user_directory> 中打开 .bashrc 文件：vi /.bashrc
- 在文件末尾添加以下命令：source /opt/intel/openvino/bin/setupvars.sh
- 按 Esc 键并 Enter 保存并关闭文件：wq
- 要测试您的更改，请打开一个新终端。您会注意到：[setupvars.sh] OpenVINO 环境已准备就绪。
配置成功。
步骤 5：设置模型优化器
- 移动到模型优化器的先决条件路径：cd/opt/intel/openvino/deployment_tools/model_optimizer/install_prerequisites
- 执行以下代码以设置 Caffe、TensorFlow、MXNet、Kaldi 和 ONNX 的模型优化器：$ sudo ./install_prerequisites.sh
您也可以根据需要运行特定版本：
- Kaldi - sudo ./install_prerequisites_kaldi.sh
- MXNet - sudo ./install_prerequisites_mxnet.sh
- TensorFlow - sudo ./install_prerequisites_tf.sh
- ONNX - sudo ./install_prerequisites_onnx.sh
- Caffe - sudo ./install_prerequisites_caffe.sh
学习 OpenVINO 的先决条件
要学习 OpenVINO，您需要了解编程语言的基础知识，特别是 Python 或 C++。您还应该对深度学习概念（包括神经网络）有中级理解，以便了解 OpenVINO 的工作原理。
谁可以学习 OpenVINO？
任何人都可以学习 OpenVINO，包括数据科学家、软件开发人员和 AI/ML 工程师。人工智能、机器学习、深度学习、自然语言处理或计算机视觉等领域的大学生也可以从中受益，因为他们可以获得宝贵的模型优化经验。
OpenVINO 常见问题解答
1. OpenVINO 工具包用于什么？
OpenVINO 工具包用于开发和部署机器学习模型。它们允许用户“一次编写，随处部署”。
2. OpenVINO 的功能是什么？
OpenVINO 是英特尔公司开发的一款软件工具包，有助于增强和优化 AI 模型。
3. 在哪里下载 OpenVINO？
要下载 OpenVINO，您需要访问 OpenVINO 工具包下载页面。选择您的操作系统并下载相应的版本。
4. OpenVINO 是否适用于 AMD？
OpenVINO 工具包仅官方支持英特尔硬件。
5. OpenVINO 支持哪些操作系统？
OpenVINO 支持 Linux、Windows 和 MacOS。它还允许您使用您喜欢的编程语言。
6. OpenVINO 是一个开源平台吗？
是的，OpenVino 是英特尔公司于 2018 年开发的开源深度学习软件工具包。
7. OpenVINO 是否支持边缘设备？
是的，OpenVINO 支持边缘设备，允许在英特尔驱动的硬件上进行高性能 AI 处理。
8. OpenVINO 支持哪些类型的硬件？
OpenVINO 支持的硬件包括英特尔 CPU、英特尔 GPU、英特尔 VPU、英特尔 FPGA 和英特尔神经计算棒。