web-dev-qa-db-ja.com

tensorflowでの最小限のRNNの例

Tensorflowで最小限のおもちゃRNNの例を実装しようとしています。目標は、この素晴らしい簡潔な theanetsの例 と同様に、入力データからターゲットデータへのマッピングを学習することです。

更新：そこに向かっています。残っている唯一の部分は、それを収束させることです（そしてより複雑ではありません）。誰かが以下をコードの実行に変えるのを手伝ったり、簡単な例を提供したりできますか？

import tensorflow as tf
from tensorflow.python.ops import rnn_cell

init_scale = 0.1
num_steps = 7
num_units = 7
input_data = [1, 2, 3, 4, 5, 6, 7]
target = [2, 3, 4, 5, 6, 7, 7]
#target = [1,1,1,1,1,1,1] #converges, but not what we want


batch_size = 1

with tf.Graph().as_default(), tf.Session() as session:
  # Placeholder for the inputs and target of the net
  # inputs = tf.placeholder(tf.int32, [batch_size, num_steps])
  input1 = tf.placeholder(tf.float32, [batch_size, 1])
  inputs = [input1 for _ in range(num_steps)]
  outputs = tf.placeholder(tf.float32, [batch_size, num_steps])

  gru = rnn_cell.GRUCell(num_units)
  initial_state = state = tf.zeros([batch_size, num_units])
  loss = tf.constant(0.0)

  # setup model: unroll
  for time_step in range(num_steps):
    if time_step > 0: tf.get_variable_scope().reuse_variables()
    step_ = inputs[time_step]
    output, state = gru(step_, state)
    loss += tf.reduce_sum(abs(output - target))  # all norms work equally well? NO!
  final_state = state

  optimizer = tf.train.AdamOptimizer(0.1)  # CONVERGEs sooo much better
  train = optimizer.minimize(loss)  # let the optimizer train

  numpy_state = initial_state.eval()
  session.run(tf.initialize_all_variables())
  for Epoch in range(10):  # now
    for i in range(7): # feed fake 2D matrix of 1 byte at a time ;)
      feed_dict = {initial_state: numpy_state, input1: [[input_data[i]]]} # no
      numpy_state, current_loss,_ = session.run([final_state, loss,train], feed_dict=feed_dict)
    print(current_loss)  # hopefully going down, always stuck at 189, why!?
tensorflowrecurrent-neural-network
15
Anona112

あなたのコードにはいくつか問題があると思いますが、その考えは正しいです。

主な問題は、次のように入力と出力に単一のテンソルを使用していることです。
inputs = tf.placeholder(tf.int32, [batch_size, num_steps])。

TensorFlowでは、RNN関数はテンソルのリストを取得します（一部のモデルではnum_stepsが異なる場合があるため）。したがって、次のような入力を作成する必要があります。
inputs = [tf.placeholder(tf.int32, [batch_size, 1]) for _ in xrange(num_steps)]

次に、入力がint32であるという事実に注意する必要がありますが、RNNセルは浮動小数点ベクトルで機能します。これがembedding_lookupの目的です。

そして最後に、入力リストに入れるようにフィードを調整する必要があります。

私はptbチュートリアルを見るのに合理的な場所だと思いますが、すぐに使えるRNNのさらに最小限の例が必要な場合は、ここなどのrnn単体テストのいくつかを見ることができます。 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/kernel_tests/rnn_test.py#L164

6
Lukasz Kaiser