TensorFlow 中的基本 RNN

首先，我们来实现一个非常简单的 RNN 模型，而不使用任何 TensorFlow 的 RNN 操作，以更好地理解发生了什么。 我们将使用 tanh 激活函数创建由 5 个循环神经元的循环层组成的 RNN（如图 14-2 所示的 RNN）。 我们将假设 RNN 只运行两个时间步，每个时间步输入大小为 3 的向量。 下面的代码构建了这个 RNN，展开了两个时间步骤：

  1. n_inputs = 3
  2. n_neurons = 5
  3. X0 = tf.placeholder(tf.float32, [None, n_inputs])
  4. X1 = tf.placeholder(tf.float32, [None, n_inputs])
  5. Wx = tf.Variable(tf.random_normal(shape=[n_inputs, n_neurons], dtype=tf.float32))
  6. Wy = tf.Variable(tf.random_normal(shape=[n_neurons, n_neurons], dtype=tf.float32))
  7. b = tf.Variable(tf.zeros([1, n_neurons], dtype=tf.float32))
  8. Y0 = tf.tanh(tf.matmul(X0, Wx) + b)
  9. Y1 = tf.tanh(tf.matmul(Y0, Wy) + tf.matmul(X1, Wx) + b)
  10. init = tf.global_variables_initializer()

这个网络看起来很像一个双层前馈神经网络，有一些改动：首先，两个层共享相同的权重和偏差项，其次，我们在每一层都有输入，并从每个层获得输出。 为了运行模型，我们需要在两个时间步中都有输入，如下所示：

  1.     #  Mini-batch: instance 0,instance 1,instance 2,instance 3
  2.     X0_batch = np.array([[0, 1, 2], [3, 4, 5], [6, 7, 8], [9, 0, 1]])  #  t = 0
  3.     X1_batch = np.array([[9, 8, 7], [0, 0, 0], [6, 5, 4], [3, 2, 1]])  #  t = 1
  4.     with tf.Session() as sess:
  5.         init.run()
  6.     Y0_val, Y1_val = sess.run([Y0, Y1], feed_dict={X0: X0_batch, X1: X1_batch})

这个小批量包含四个实例，每个实例都有一个由两个输入组成的输入序列。 最后，Y0_val和Y1_val在所有神经元和小批量中的所有实例的两个时间步中包含网络的输出：

  1. >>> print(Y0_val) #  output at t = 0
  2. [[-0.2964572 0.82874775 -0.34216955 -0.75720584 0.19011548] #  instance 0
  3. [-0.12842922 0.99981797 0.84704727 -0.99570125 0.38665548] #  instance 1
  4. [ 0.04731077 0.99999976 0.99330056 -0.999933 0.55339795] #  instance 2
  5. [ 0.70323634 0.99309105 0.99909431 -0.85363263 0.7472108 ]] #  instance 3
  6. >>> print(Y1_val) #  output at t = 1
  7. [[ 0.51955646 1\. 0.99999022 -0.99984968 -0.24616946] #  instance 0
  8. [-0.70553327 -0.11918639 0.48885304 0.08917919 -0.26579669] #  instance 1
  9. [-0.32477224 0.99996376 0.99933046 -0.99711186 0.10981458] #  instance 2
  10. [-0.43738723 0.91517633 0.97817528 -0.91763324 0.11047263]] #  instance 3

这并不难，但是当然如果你想能够运行 100 多个时间步骤的 RNN，这个图形将会非常大。 现在让我们看看如何使用 TensorFlow 的 RNN 操作创建相同的模型。

完整代码

  1. import numpy as np
  2. import tensorflow as tf
  4. if __name__ == '__main__':
  5.     n_inputs = 3
  6.     n_neurons = 5
  7.     X0 = tf.placeholder(tf.float32, [None, n_inputs])
  8.     X1 = tf.placeholder(tf.float32, [None, n_inputs])
  9.     Wx = tf.Variable(tf.random_normal(shape=[n_inputs, n_neurons], dtype=tf.float32))
  10.     Wy = tf.Variable(tf.random_normal(shape=[n_neurons, n_neurons], dtype=tf.float32))
  11.     b = tf.Variable(tf.zeros([1, n_neurons], dtype=tf.float32))
  12.     Y0 = tf.tanh(tf.matmul(X0, Wx) + b)
  13.     Y1 = tf.tanh(tf.matmul(Y0, Wy) + tf.matmul(X1, Wx) + b)
  14.     init = tf.global_variables_initializer()
  16.     #  Mini-batch: instance 0,instance 1,instance 2,instance 3
  17.     X0_batch = np.array([[0, 1, 2], [3, 4, 5], [6, 7, 8], [9, 0, 1]])  #  t = 0
  18.     X1_batch = np.array([[9, 8, 7], [0, 0, 0], [6, 5, 4], [3, 2, 1]])  #  t = 1
  19.     with tf.Session() as sess:
  20.         init.run()
  21.         Y0_val, Y1_val = sess.run([Y0, Y1], feed_dict={X0: X0_batch, X1: X1_batch})
  23.     print(Y0_val,'\n')
  24.     print(Y1_val)