Apache MXNet - Python API ndarray

上一页
下一页

本章介绍 Apache MXNet 中提供的 ndarray 库。

Mxnet.ndarray

Apache MXNet 的 NDArray 库定义了所有数学计算的核心 DS（数据结构）。NDArray 的两个基本作用如下：

  • 它支持在各种硬件配置上快速执行。

  • 它自动跨可用硬件并行化多个操作。

以下示例显示了如何使用来自常规 Python 列表的 1-D 和 2-D“数组”创建 NDArray：

import mxnet as mx
from mxnet import nd

x = nd.array([1,2,3,4,5,6,7,8,9,10])
print(x)

输出

输出如下所示

[ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.]
<NDArray 10 @cpu(0)>

示例

y = nd.array([[1,2,3,4,5,6,7,8,9,10], [1,2,3,4,5,6,7,8,9,10], [1,2,3,4,5,6,7,8,9,10]])
print(y)

输出

这将产生以下输出：

[[ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.]
 [ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.]
 [ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.]]
<NDArray 3x10 @cpu(0)>

现在让我们详细讨论 MXNet 的 ndarray API 的类、函数和参数。

类

下表包含 MXNet 的 ndarray API 的类：

类 定义
CachedOp(sym[, flags]) 用于缓存操作句柄。
NDArray(handle[, writable]) 用作表示多维、同构的固定大小项数组的数组对象。

函数及其参数

以下是 mxnet.ndarray API 涵盖的一些重要函数及其参数：

函数及参数 定义
Activation([data, act_type, out, name]) 它对输入按元素应用激活函数。它支持 relu、sigmoid、tanh、softrelu、softsign 激活函数。
BatchNorm([data, gamma, beta, moving_mean, …]) 用于批归一化。此函数通过均值和方差对数据批进行归一化。它应用缩放因子 gamma 和偏移量 beta。
BilinearSampler([data, grid, cudnn_off, …])

此函数将双线性采样应用于输入特征图。实际上它是“空间变换网络”的关键。

如果您熟悉 OpenCV 中的 remap 函数，则此函数的用法与此非常相似。唯一的区别是它具有反向传播。
BlockGrad([data, out, name]) 顾名思义，此函数停止梯度计算。它基本上阻止了输入的累积梯度在反向方向上通过此运算符流动。
cast([data, dtype, out, name]) 此函数将输入的所有元素转换为新类型。

实现示例

在下面的示例中，我们将使用 BilinierSampler() 函数将数据缩小两倍并将数据水平移动 -1 像素：

import mxnet as mx
from mxnet import nd
data = nd.array([[[[2, 5, 3, 6],
   [1, 8, 7, 9],
   [0, 4, 1, 8],
   [2, 0, 3, 4]]]])
affine_matrix = nd.array([[2, 0, 0],
   [0, 2, 0]])

affine_matrix = nd.reshape(affine_matrix, shape=(1, 6))

grid = nd.GridGenerator(data=affine_matrix, transform_type='affine', target_shape=(4, 4))

output = nd.BilinearSampler(data, grid)

输出

执行上述代码后，您应该会看到以下输出

[[[[0. 0. 0. 0. ]
   [0. 4.0000005 6.25 0. ]
   [0. 1.5 4. 0. ]
   [0. 0. 0. 0. ]]]]
<NDArray 1x1x4x4 @cpu(0)>

以上输出显示了数据缩小两倍。

将数据移动 -1 像素的示例如下：

import mxnet as mx
from mxnet import nd
data = nd.array([[[[2, 5, 3, 6],
   [1, 8, 7, 9],
   [0, 4, 1, 8],
   [2, 0, 3, 4]]]])
warp_matrix = nd.array([[[[1, 1, 1, 1],
   [1, 1, 1, 1],
   [1, 1, 1, 1],
   [1, 1, 1, 1]],
   [[0, 0, 0, 0],
   [0, 0, 0, 0],
   [0, 0, 0, 0],
   [0, 0, 0, 0]]]])
grid = nd.GridGenerator(data=warp_matrix, transform_type='warp')
output = nd.BilinearSampler(data, grid)

输出

输出如下所示：

[[[[5. 3. 6. 0.]
[8. 7. 9. 0.]
[4. 1. 8. 0.]
[0. 3. 4. 0.]]]]
<NDArray 1x1x4x4 @cpu(0)>

类似地，以下示例显示了 cast() 函数的使用：

nd.cast(nd.array([300, 10.1, 15.4, -1, -2]), dtype='uint8')

输出

执行后，您将收到以下输出：

[ 44 10 15 255 254]
<NDArray 5 @cpu(0)>

ndarray.contrib

Contrib NDArray API 在 ndarray.contrib 包中定义。它通常为新功能提供许多有用的实验性 API。此 API 作为社区尝试新功能的地方。功能贡献者也将获得反馈。

函数及其参数

以下是 mxnet.ndarray.contrib API 涵盖的一些重要函数及其参数：

函数及参数 定义
rand_zipfian(true_classes, num_sampled, …) 此函数从近似齐夫分布中抽取随机样本。此函数的基本分布是齐夫分布。此函数随机抽取 num_sampled 个候选样本，并且 sampled_candidates 的元素是从上面给出的基本分布中抽取的。
foreach(body, data, init_states) 顾名思义，此函数在维度 0 上对 NDArrays 运行一个带有用户定义计算的 for 循环。此函数模拟一个 for 循环，body 包含 for 循环迭代的计算。
while_loop(cond, func, loop_vars[, …]) 顾名思义，此函数运行一个带有用户定义计算和循环条件的 while 循环。此函数模拟一个 while 循环，如果条件满足，则按字面意思执行自定义计算。
cond(pred, then_func, else_func) 顾名思义，此函数使用用户定义的条件和计算运行 if-then-else。此函数模拟一个 if 类型的分支，根据指定的条件选择执行两个自定义计算之一。
isinf(data) 此函数执行按元素检查以确定 NDArray 是否包含无限元素。
getnnz([data, axis, out, name]) 此函数提供稀疏张量的存储值的数目。它还包括显式零。它仅支持 CPU 上的 CSR 矩阵。
requantize([data, min_range, max_range, …]) 此函数将以 int32 量化的给定数据及其相应的阈值重新量化为 int8，使用在运行时计算或来自校准的最小和最大阈值。

实现示例

在下面的示例中，我们将使用 rand_zipfian 函数从近似齐夫分布中抽取随机样本：

import mxnet as mx
from mxnet import nd
trueclass = mx.nd.array([2])
samples, exp_count_true, exp_count_sample = mx.nd.contrib.rand_zipfian(trueclass, 3, 4)
samples

输出

您将看到以下输出：

[0 0 1]
<NDArray 3 @cpu(0)>

示例

exp_count_true

输出

输出如下所示

[0.53624076]
<NDArray 1 @cpu(0)>

示例

exp_count_sample

输出

这将产生以下输出

[1.29202967 1.29202967 0.75578891]
<NDArray 3 @cpu(0)>

在下面的示例中，我们将使用 while_loop 函数运行一个带有用户定义计算和循环条件的 while 循环

cond = lambda i, s: i <= 7
func = lambda i, s: ([i + s], [i + 1, s + i])
loop_var = (mx.nd.array([0], dtype="int64"), mx.nd.array([1], dtype="int64"))
outputs, states = mx.nd.contrib.while_loop(cond, func, loop_vars, max_iterations=10)
outputs

输出

输出如下所示：

[
[[       1]
 [      2]
 [      4]
 [      7]
 [     11]
 [     16]
 [     22]
 [     29]
 [3152434450384]
 [     257]]
<NDArray 10x1 @cpu(0)>]

示例

States

输出

这将产生以下输出：

[
[8]
<NDArray 1 @cpu(0)>,
[29]
<NDArray 1 @cpu(0)>]

ndarray.image

Image NDArray API 在 ndarray.image 包中定义。顾名思义，它通常用于图像及其特征。

函数及其参数

以下是 mxnet.ndarray.image API 涵盖的一些重要函数及其参数：

函数及参数 定义
adjust_lighting([data, alpha, out, name]) 顾名思义，此函数调整输入的亮度级别。它遵循 AlexNet 样式。
crop([data, x, y, width, height, out, name]) 借助此函数，我们可以将形状为 (H x W x C) 或 (N x H x W x C) 的图像 NDArray 裁剪为用户给定的尺寸。
normalize([data, mean, std, out, name]) 它将形状为 (C x H x W) 或 (N x C x H x W) 的张量与 均值 和 标准差 (SD) 进行归一化。
random_crop([data, xrange, yrange, width, …]) 与 crop() 类似，它随机裁剪形状为 (H x W x C) 或 (N x H x W x C) 的图像 NDArray 到用户给定的尺寸。如果源图像小于该尺寸，它将对结果进行上采样。
random_lighting([data, alpha_std, out, name]) 顾名思义，此函数随机添加 PCA 噪声。它也遵循 AlexNet 样式。
random_resized_crop([data, xrange, yrange, …]) 它还随机裁剪形状为 (H x W x C) 或 (N x H x W x C) 的图像 NDArray 到给定尺寸。如果源图像小于该尺寸，它将对结果进行上采样。它也将随机化区域和纵横比。
resize([data, size, keep_ratio, interp, …]) 顾名思义，此函数将形状为 (H x W x C) 或 (N x H x W x C) 的图像 NDArray 调整为用户给定的尺寸。
to_tensor([data, out, name]) 它将形状为 (H x W x C) 或 (N x H x W x C) 且值在 [0, 255] 范围内的图像 NDArray 转换为形状为 (C x H x W) 或 (N x C x H x W) 且值在 [0, 1] 范围内的张量 NDArray。

实现示例

在下面的示例中，我们将使用 to_tensor 函数将形状为 (H x W x C) 或 (N x H x W x C) 且值在 [0, 255] 范围内的图像 NDArray 转换为形状为 (C x H x W) 或 (N x C x H x W) 且值在 [0, 1] 范围内的张量 NDArray。

import numpy as np
img = mx.nd.random.uniform(0, 255, (4, 2, 3)).astype(dtype=np.uint8)
mx.nd.image.to_tensor(img)

输出

您将看到以下输出：

[[[0.972549 0.5058824 ]
   [0.6039216 0.01960784]
   [0.28235295 0.35686275]
   [0.11764706 0.8784314 ]]

[[0.8745098 0.9764706 ]
   [0.4509804 0.03529412]
   [0.9764706 0.29411766]
   [0.6862745 0.4117647 ]]

[[0.46666667 0.05490196]
   [0.7372549 0.4392157 ]
   [0.11764706 0.47843137]
   [0.31764707 0.91764706]]]
<NDArray 3x4x2 @cpu(0)>

示例

img = mx.nd.random.uniform(0, 255, (2, 4, 2, 3)).astype(dtype=np.uint8)

mx.nd.image.to_tensor(img)

输出

运行代码后，您将看到以下输出：

[[[[0.0627451 0.5647059 ]
[0.2627451 0.9137255 ]
[0.57254905 0.27450982]
[0.6666667 0.64705884]]
[[0.21568628 0.5647059 ]
[0.5058824 0.09019608]
[0.08235294 0.31764707]
[0.8392157 0.7137255 ]]
[[0.6901961 0.8627451 ]
[0.52156866 0.91764706]
[0.9254902 0.00784314]
[0.12941177 0.8392157 ]]]
[[[0.28627452 0.39607844]
[0.01960784 0.36862746]
[0.6745098 0.7019608 ]
[0.9607843 0.7529412 ]]
[[0.2627451 0.58431375]
[0.16470589 0.00392157]
[0.5686275 0.73333335]
[0.43137255 0.57254905]]
[[0.18039216 0.54901963]
[0.827451 0.14509805]
[0.26666668 0.28627452]
[0.24705882 0.39607844]]]]
<NDArgt;ray 2x3x4x2 @cpu(0)>

在下面的示例中，我们将使用 normalize 函数将形状为 (C x H x W) 或 (N x C x H x W) 的张量与 均值 和 标准差 (SD) 进行归一化。

img = mx.nd.random.uniform(0, 1, (3, 4, 2))

mx.nd.image.normalize(img, mean=(0, 1, 2), std=(3, 2, 1))

输出

这将产生以下输出：

[[[ 0.29391178 0.3218054 ]
[ 0.23084386 0.19615503]
[ 0.24175143 0.21988946]
[ 0.16710812 0.1777354 ]]
[[-0.02195817 -0.3847335 ]
[-0.17800489 -0.30256534]
[-0.28807247 -0.19059572]
[-0.19680339 -0.26256624]]
[[-1.9808068 -1.5298678 ]
[-1.6984252 -1.2839255 ]
[-1.3398265 -1.712009 ]
[-1.7099224 -1.6165378 ]]]
<NDArray 3x4x2 @cpu(0)>

示例

img = mx.nd.random.uniform(0, 1, (2, 3, 4, 2))

mx.nd.image.normalize(img, mean=(0, 1, 2), std=(3, 2, 1))

输出

执行上述代码后，您应该会看到以下输出：

[[[[ 2.0600514e-01 2.4972327e-01]
[ 1.4292289e-01 2.9281738e-01]
[ 4.5158025e-02 3.4287784e-02]
[ 9.9427439e-02 3.0791296e-02]]
[[-2.1501756e-01 -3.2297665e-01]
[-2.0456362e-01 -2.2409186e-01]
[-2.1283737e-01 -4.8318747e-01]
[-1.7339960e-01 -1.5519112e-02]]
[[-1.3478968e+00 -1.6790028e+00]
[-1.5685816e+00 -1.7787373e+00]
[-1.1034534e+00 -1.8587360e+00]
[-1.6324382e+00 -1.9027401e+00]]]
[[[ 1.4528830e-01 3.2801408e-01]
[ 2.9730779e-01 8.6780310e-02]
[ 2.6873133e-01 1.7900752e-01]
[ 2.3462953e-01 1.4930873e-01]]
[[-4.4988656e-01 -4.5021546e-01]
[-4.0258706e-02 -3.2384416e-01]
[-1.4287934e-01 -2.6537544e-01]
[-5.7649612e-04 -7.9429924e-02]]
[[-1.8505517e+00 -1.0953522e+00]
[-1.1318740e+00 -1.9624406e+00]
[-1.8375070e+00 -1.4916846e+00]
[-1.3844404e+00 -1.8331525e+00]]]]
<NDArray 2x3x4x2 @cpu(0)>

ndarray.random

Random NDArray API 在 ndarray.random 包中定义。顾名思义，它是 MXNet 的随机分布生成器 NDArray API。

函数及其参数

以下是 mxnet.ndarray.random API 涵盖的一些重要函数及其参数：

函数及其参数 定义
uniform([low, high, shape, dtype, ctx, out]) 它从均匀分布中生成随机样本。
normal([loc, scale, shape, dtype, ctx, out]) 它从正态（高斯）分布中生成随机样本。
randn(*shape, **kwargs) 它从正态（高斯）分布中生成随机样本。
exponential([scale, shape, dtype, ctx, out]) 它从指数分布中生成样本。
gamma([alpha, beta, shape, dtype, ctx, out]) 它从伽马分布中生成随机样本。
multinomial(data[, shape, get_prob, out, dtype]) 它从多个多项分布中生成并发采样。
negative_binomial([k, p, shape, dtype, ctx, out]) 它从负二项分布中生成随机样本。
generalized_negative_binomial([mu, alpha, …]) 它从广义负二项分布中生成随机样本。
shuffle(data, **kwargs) 它随机打乱元素。
randint(low, high[, shape, dtype, ctx, out]) 它从离散均匀分布中生成随机样本。
exponential_like([data, lam, out, name]) 它根据输入数组形状从指数分布中生成随机样本。
gamma_like([data, alpha, beta, out, name]) 它根据输入数组形状从伽马分布中生成随机样本。
generalized_negative_binomial_like([data, …]) 它根据输入数组形状从广义负二项分布中生成随机样本。
negative_binomial_like([data, k, p, out, name]) 它根据输入数组形状从负二项分布中生成随机样本。
normal_like([data, loc, scale, out, name]) 它根据输入数组形状从正态（高斯）分布中生成随机样本。
poisson_like([data, lam, out, name]) 它根据输入数组形状从泊松分布中生成随机样本。
uniform_like([data, low, high, out, name]) 它根据输入数组形状从均匀分布中生成随机样本。

实现示例

在下面的示例中，我们将从均匀分布中抽取随机样本。为此，我们将使用 uniform() 函数。

mx.nd.random.uniform(0, 1)

输出

输出如下所示：

[0.12381998]
<NDArray 1 @cpu(0)>

示例

mx.nd.random.uniform(-1, 1, shape=(2,))

输出

输出如下所示：

[0.558102 0.69601643]
<NDArray 2 @cpu(0)>

示例

low = mx.nd.array([1,2,3])
high = mx.nd.array([2,3,4])
mx.nd.random.uniform(low, high, shape=2)

输出

您将看到以下输出：

[[1.8649333 1.8073189]
 [2.4113967 2.5691009]
 [3.1399727 3.4071832]]
<NDArray 3x2 @cpu(0)>

在下面的示例中，我们将从广义负二项分布中抽取随机样本。为此，我们将使用 generalized_negative_binomial() 函数。

mx.nd.random.generalized_negative_binomial(10, 0.5)

输出

执行上述代码后，您应该会看到以下输出：

[1.]
<NDArray 1 @cpu(0)>

示例

mx.nd.random.generalized_negative_binomial(10, 0.5, shape=(2,))

输出

输出如下所示：

[16. 23.]
<NDArray 2 @cpu(0)>

示例

mu = mx.nd.array([1,2,3])
alpha = mx.nd.array([0.2,0.4,0.6])
mx.nd.random.generalized_negative_binomial(mu, alpha, shape=2)

输出

以下是代码的输出：

[[0. 0.]
 [4. 1.]
 [9. 3.]]
<NDArray 3x2 @cpu(0)>

ndarray.utils

实用程序 NDArray API 在 ndarray.utils 包中定义。顾名思义，它为 NDArray 和 BaseSparseNDArray 提供实用程序函数。

函数及其参数

以下是 mxnet.ndarray.utils API 涵盖的一些重要函数及其参数：

函数及其参数 定义
zeros(shape[, ctx, dtype, stype]) 此函数将返回一个具有给定形状和类型的新数组，并填充零。
empty(shape[, ctx, dtype, stype]) 它将返回一个具有给定形状和类型的新数组，但不初始化条目。
array(source_array[, ctx, dtype]) 顾名思义，此函数将从任何公开数组接口的对象创建数组。
load(fname) 它将从文件加载数组。
load_frombuffer(buf) 顾名思义，此函数将从缓冲区加载数组字典或列表。
save(fname, data) 此函数将数组列表或 str->array 的字典保存到文件。

实现示例

在下面的示例中，我们将返回一个具有给定形状和类型的新数组，并用零填充。为此，我们将使用函数zeros()。

mx.nd.zeros((1,2), mx.cpu(), stype='csr')

输出

这将产生以下输出：

<CSRNDArray 1x2 @cpu(0)>

示例

mx.nd.zeros((1,2), mx.cpu(), 'float16', stype='row_sparse').asnumpy()

输出

您将收到以下输出：

array([[0., 0.]], dtype=float16)

在下面的示例中，我们将保存一个数组列表和一个字符串字典。为此，我们将使用函数save()。

示例

x = mx.nd.zeros((2,3))
y = mx.nd.ones((1,4))
mx.nd.save('list', [x,y])
mx.nd.save('dict', {'x':x, 'y':y})
mx.nd.load('list')

输出

执行后，您将收到以下输出：

[
[[0. 0. 0.]
[0. 0. 0.]]
<NDArray 2x3 @cpu(0)>,
[[1. 1. 1. 1.]]
<NDArray 1x4 @cpu(0)>]

示例

mx.nd.load('my_dict')

输出

输出如下所示：

{'x':
[[0. 0. 0.]
[0. 0. 0.]]
<NDArray 2x3 @cpu(0)>, 'y':
[[1. 1. 1. 1.]]
<NDArray 1x4 @cpu(0)>}
打印页面
上一页
下一页
广告

© . All rights reserved.