PyTorch - 术语

在本章中，我们将讨论 PyTorch 中一些最常用的术语。

PyTorch NumPy

PyTorch 张量与 NumPy 数组相同。张量是 n 维数组，在 PyTorch 中，它提供了许多用于操作这些张量函数。

PyTorch 张量通常利用 GPU 来加速其数值计算。在 PyTorch 中创建的这些张量可用于将两层网络拟合到随机数据。用户可以手动实现网络的前向和后向传递。

变量和自动微分

使用自动微分时，网络的前向传递将定义一个计算图 - 图中的节点将是张量，边将是生成输出张量的函数。

PyTorch 张量可以创建为变量对象，其中变量表示计算图中的一个节点。

动态图

静态图很好，因为用户可以预先优化图。如果程序员反复重用同一个图，则可以保留这种潜在的代价高昂的预先优化，因为同一个图被反复运行。

它们之间的主要区别在于 Tensor Flow 的计算图是静态的，而 PyTorch 使用动态计算图。

优化包

PyTorch 中的 optim 包抽象了优化算法的概念，该算法以多种方式实现并提供了常用优化算法的示例。这可以在 import 语句中调用。

多处理

多处理支持相同操作，以便所有张量都在多个处理器上工作。队列将把其数据移动到共享内存中，并且只会将句柄发送到另一个进程。