Python API 自動微分和初始化器

---

---

本章介紹 MXNet 中的自動微分和初始化器 API。

mxnet.autograd

這是 MXNet 的 NDArray 自動微分 API。它包含以下類：

類：Function()

它用於在自動微分中進行自定義微分。可以寫成 **mxnet.autograd.Function**。如果出於任何原因，使用者不想使用預設鏈式法則計算的梯度，那麼他/她可以使用 mxnet.autograd 的 Function 類來自定義微分進行計算。它有兩個方法，分別是 Forward() 和 Backward()。

讓我們透過以下幾點來了解這個類的作用：

• 首先，我們需要在 forward 方法中定義我們的計算。

• 然後，我們需要在 backward 方法中提供自定義微分。

• 現在，在梯度計算期間，mxnet.autograd 將使用使用者定義的 backward 函式，而不是使用者定義的 backward 函式。我們也可以在 forward 和 backward 中強制轉換為 numpy 陣列並返回，以進行某些操作。

示例

在使用 mxnet.autograd.function 類之前，讓我們定義一個穩定的 sigmoid 函式，其中包含 backward 和 forward 方法，如下所示：

class sigmoid(mx.autograd.Function):
   def forward(self, x):
      y = 1 / (1 + mx.nd.exp(-x))
      self.save_for_backward(y)
      return y
   
   def backward(self, dy):
      y, = self.saved_tensors
      return dy * y * (1-y)

現在，函式類可以按如下方式使用：

func = sigmoid()
x = mx.nd.random.uniform(shape=(10,))
x.attach_grad()
with mx.autograd.record():
m = func(x)
m.backward()
dx_grad = x.grad.asnumpy()
dx_grad

輸出

執行程式碼時，您將看到以下輸出：

array([0.21458015, 0.21291625, 0.23330082, 0.2361367 , 0.23086983,
0.24060014, 0.20326573, 0.21093895, 0.24968489, 0.24301809],
dtype=float32)

方法及其引數

以下是 mxnet.autogard.function 類的所有方法及其引數：

實現示例

在下面的示例中，我們將使用 mxnet.autograd.grad() 方法來計算 head 相對於 variables 的梯度：

x = mx.nd.ones((2,))
x.attach_grad()
with mx.autograd.record():
z = mx.nd.elemwise_add(mx.nd.exp(x), x)
dx_grad = mx.autograd.grad(z, [x], create_graph=True)
dx_grad

輸出

輸出如下所示：

[
[3.7182817 3.7182817]
<NDArray 2 @cpu(0)>]

我們可以使用 mxnet.autograd.predict_mode() 方法返回一個作用域，用於在“with”語句中使用：

with mx.autograd.record():
y = model(x)
with mx.autograd.predict_mode():
y = sampling(y)
backward([y])

mxnet.intializer

這是 MXNet 的權重初始化器 API。它包含以下類：

類及其引數

以下是 **mxnet.autogard.function** 類的所有方法及其引數

實現示例

在下面的示例中，我們將使用 mxnet.init.Normal() 類建立初始化器並檢索其引數：

init = mx.init.Normal(0.8)
init.dumps()

輸出

輸出如下所示：

'["normal", {"sigma": 0.8}]'

示例

init = mx.init.Xavier(factor_type="in", magnitude=2.45)
init.dumps()

輸出

輸出如下所示：

'["xavier", {"rnd_type": "uniform", "factor_type": "in", "magnitude": 2.45}]'

在下面的示例中，我們將使用 mxnet.initializer.Mixed() 類使用多個初始化器初始化引數：

init = mx.initializer.Mixed(['bias', '.*'], [mx.init.Zero(),
mx.init.Uniform(0.1)])
module.init_params(init)

for dictionary in module.get_params():
for key in dictionary:
print(key)
print(dictionary[key].asnumpy())

輸出

輸出如下所示：

fullyconnected1_weight
[[ 0.0097627 0.01856892 0.04303787]]
fullyconnected1_bias
[ 0.]