Python API 自动微分和初始化器

---

---

本章介绍 MXNet 中的自动微分和初始化器 API。

mxnet.autograd

这是 MXNet 的 NDArray 自动微分 API。它包含以下类：

类：Function()

它用于在自动微分中进行自定义微分。可以写成 **mxnet.autograd.Function**。如果出于任何原因，用户不想使用默认链式法则计算的梯度，那么他/她可以使用 mxnet.autograd 的 Function 类来自定义微分进行计算。它有两个方法，分别是 Forward() 和 Backward()。

让我们通过以下几点来了解这个类的作用：

• 首先，我们需要在 forward 方法中定义我们的计算。

• 然后，我们需要在 backward 方法中提供自定义微分。

• 现在，在梯度计算期间，mxnet.autograd 将使用用户定义的 backward 函数，而不是用户定义的 backward 函数。我们也可以在 forward 和 backward 中强制转换为 numpy 数组并返回，以进行某些操作。

示例

在使用 mxnet.autograd.function 类之前，让我们定义一个稳定的 sigmoid 函数，其中包含 backward 和 forward 方法，如下所示：

class sigmoid(mx.autograd.Function):
   def forward(self, x):
      y = 1 / (1 + mx.nd.exp(-x))
      self.save_for_backward(y)
      return y
   
   def backward(self, dy):
      y, = self.saved_tensors
      return dy * y * (1-y)

现在，函数类可以按如下方式使用：

func = sigmoid()
x = mx.nd.random.uniform(shape=(10,))
x.attach_grad()
with mx.autograd.record():
m = func(x)
m.backward()
dx_grad = x.grad.asnumpy()
dx_grad

输出

运行代码时，您将看到以下输出：

array([0.21458015, 0.21291625, 0.23330082, 0.2361367 , 0.23086983,
0.24060014, 0.20326573, 0.21093895, 0.24968489, 0.24301809],
dtype=float32)

方法及其参数

以下是 mxnet.autogard.function 类的所有方法及其参数：

实现示例

在下面的示例中，我们将使用 mxnet.autograd.grad() 方法来计算 head 相对于 variables 的梯度：

x = mx.nd.ones((2,))
x.attach_grad()
with mx.autograd.record():
z = mx.nd.elemwise_add(mx.nd.exp(x), x)
dx_grad = mx.autograd.grad(z, [x], create_graph=True)
dx_grad

输出

输出如下所示：

[
[3.7182817 3.7182817]
<NDArray 2 @cpu(0)>]

我们可以使用 mxnet.autograd.predict_mode() 方法返回一个作用域，用于在“with”语句中使用：

with mx.autograd.record():
y = model(x)
with mx.autograd.predict_mode():
y = sampling(y)
backward([y])

mxnet.intializer

这是 MXNet 的权重初始化器 API。它包含以下类：

类及其参数

以下是 **mxnet.autogard.function** 类的所有方法及其参数

实现示例

在下面的示例中，我们将使用 mxnet.init.Normal() 类创建初始化器并检索其参数：

init = mx.init.Normal(0.8)
init.dumps()

输出

输出如下所示：

'["normal", {"sigma": 0.8}]'

示例

init = mx.init.Xavier(factor_type="in", magnitude=2.45)
init.dumps()

输出

输出如下所示：

'["xavier", {"rnd_type": "uniform", "factor_type": "in", "magnitude": 2.45}]'

在下面的示例中，我们将使用 mxnet.initializer.Mixed() 类使用多个初始化器初始化参数：

init = mx.initializer.Mixed(['bias', '.*'], [mx.init.Zero(),
mx.init.Uniform(0.1)])
module.init_params(init)

for dictionary in module.get_params():
for key in dictionary:
print(key)
print(dictionary[key].asnumpy())

输出

输出如下所示：

fullyconnected1_weight
[[ 0.0097627 0.01856892 0.04303787]]
fullyconnected1_bias
[ 0.]