为什么机器学习使用GPU？

---

GPU（图形处理单元）现在是AI的基石。GPU最初是为了加速图形处理而开发的，可以极大地加快深度学习所需的计算操作。许多现代应用都因为机器学习需要更积极、更准确（或两者兼备）而失败。大型神经网络从GPU的整合和使用中受益匪浅。

自动驾驶汽车和人脸识别是深度学习如何彻底改变技术的两个例子。在本文中，我们将讨论为什么GPU对机器学习应用如此有用——

图形处理单元是如何工作的？

与每个神经网络一样，深度学习模型的训练阶段是该过程最耗时和耗能的部分。这些芯片的最初目的是处理视觉信息。为了改进预测，会调整权重以识别模式。但如今，GPU也用于加速其他类型的处理，例如深度学习。这是因为GPU非常适合并行处理，使其成为大规模分布式处理的理想选择。

图形处理单元（GPU）的功能

首先，让我们退一步，确保我们完全理解GPU的工作原理。

1999年发布的英伟达GeForce 256由于能够进行诸如变换、光照和三角形裁剪之类的图形操作，促成了“图形处理单元”这一短语的普及。由于针对这些任务的特定工程设计，可以优化和加快流程。这涉及复杂的计算，有助于三维环境的可视化。当执行数百万次计算或使用浮点数时，会产生重复性。这些条件非常适合并行执行任务。

借助缓存和额外的内核，GPU可以轻松超越数十个CPU。让我们举个例子——

增加更多处理器将线性地提高速度。即使使用100个CPU，该过程仍然需要一周多的时间，并且成本相当高。使用少量GPU上的并行计算，可以在不到一天的时间内解决这个问题。因此，我们能够通过开发这种设备来实现不可思议的事情。

机器学习如何通过GPU获益？

GPU拥有大量的处理器核心，非常适合运行并行程序。图形处理单元 (GPU) 能够累积许多消耗更少资源的核心，而不会影响效率或功率。由于能够同时处理多个计算，GPU特别适合用于人工智能和深度学习模型的训练。这允许训练的去中心化，进而加快机器学习过程。此外，机器学习计算需要处理海量数据，因此GPU的内存带宽非常理想。

GPU的使用

数据量

为了使用深度学习训练模型，必须收集大量数据。图形处理单元 (GPU) 是快速进行数据计算的最佳选择。数据集的大小与GPU在并行方面的可扩展性无关，这使得处理大型数据集比在CPU上快得多。

内存带宽

GPU计算速度更快的一个关键原因是它们具有更大的带宽。内存带宽，特别是GPU提供的内存带宽，对于处理大型数据集是可用且必要的。在处理大型数据集的指令过程中，中央处理单元 (CPU) 上的内存可能会迅速耗尽。这是因为现代GPU配备了自己的视频RAM (VRAM)，释放了CPU的资源以用于其他用途。

优化

由于涉及大量工作，密集型神经网络中的并行化非常具有挑战性。GPU的一个缺点是，优化长时间运行的单个操作可能比使用CPU更具挑战性。

机器学习中GPU硬件的选择

在深度学习应用中可以使用多种GPU，其中英伟达是行业领导者。您可以选择在托管工作站、为数据中心设计的GPU或面向消费者的GPU之间进行选择。

家用GPU

这些GPU是现有系统的廉价附加组件，可以帮助进行模型开发和基本测试。

英伟达Titan RTX具有130万亿次浮点运算的处理能力和24GB的内存。它基于英伟达的图灵GPU架构，具有Tensor和RT Core技术。

英伟达Titan V——根据不同的型号，这款GPU的运行速度为110到125万亿次浮点运算，内存为12到32TB。它使用了英伟达Volta架构和Tensor Core。

数据中心的图形处理单元

这些图形处理单元 (GPU) 专为大型任务而设计，可以提供服务器级别的性能。

英伟达A100——它提供624万亿次浮点运算的处理能力和40GB的内存。凭借其多实例GPU (MIG) 技术，它能够进行大规模扩展，用于高性能计算 (HPC)、数据分析和机器学习。

英伟达Tesla P100——英伟达Tesla P100拥有16GB的内存，可以处理21万亿次浮点运算。它基于Pascal架构，专为高性能计算和机器学习而设计。

英伟达v100——最新的英伟达v100显卡支持高达32GB的内存和149 TFLOPS的处理能力。英伟达Volta技术构成了这款产品的基础，它专为HPC、ML和DL而设计。

深度学习的GPU性能指标

由于分配效率低下，许多深度学习项目的GPU资源仅使用了10%到30%的时间。应跟踪以下KPI，并将其用于确保您的GPU投资得到有效利用。

图形处理单元的使用

GPU利用率指标跟踪图形处理单元内核的使用频率。这些度量可用于查明管道滞后的位置以及所需的GPU数量。

温度和功耗

功耗和温度等指标使您可以衡量系统的负载，从而更好地预测和管理能源需求。功耗是在PSU处测量的，包括CPU、RAM和其他任何冷却组件所需的功率。

使用和访问GPU内存

GPU内存使用和访问指标计算内存控制器的利用率。这些指标可以帮助您确定最佳训练批次大小并评估高级机器学习软件的性能。

结论

GPU是快速学习算法最安全的选择，因为大部分数据分析和模型训练包括简单的矩阵数学运算，如果并行执行这些计算，则可以显著提高性能。如果您的神经网络需要使用数十万个参数进行大量计算，请考虑购买GPU。