keras双方向lstmseq2seq
Kerasのlstm_seq2seq.pyの例を変更して、双方向のlstmモデルに変更しようとしています。
https://github.com/keras-team/keras/blob/master/examples/lstm_seq2seq.py
私はさまざまなアプローチを試します：
1つ目は、双方向ラッパーをLSTMレイヤーに直接適用することでした。
encoder_inputs = Input(shape=(None, num_encoder_tokens)) encoder = Bidirectional(LSTM(latent_dim, return_state=True))
しかし、私はこのエラーメッセージを受け取りました：
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-76-a80f8554ab09> in <module>()
75 encoder = Bidirectional(LSTM(latent_dim, return_state=True))
76
---> 77 encoder_outputs, state_h, state_c = encoder(encoder_inputs)
78 # We discard `encoder_outputs` and only keep the states.
79 encoder_states = [state_h, state_c]
/home/tristanbf/.virtualenvs/pydev3/lib/python3.5/site-packages/keras/engine/topology.py in __call__(self, inputs, **kwargs)
601
602 # Actually call the layer, collecting output(s), mask(s), and shape(s).
--> 603 output = self.call(inputs, **kwargs)
604 output_mask = self.compute_mask(inputs, previous_mask)
605
/home/tristanbf/.virtualenvs/pydev3/lib/python3.5/site-packages/keras/layers/wrappers.py in call(self, inputs, training, mask)
293 y_rev = K.reverse(y_rev, 1)
294 if self.merge_mode == 'concat':
--> 295 output = K.concatenate([y, y_rev])
296 Elif self.merge_mode == 'sum':
297 output = y + y_rev
/home/tristanbf/.virtualenvs/pydev3/lib/python3.5/site-packages/keras/backend/tensorflow_backend.py in concatenate(tensors, axis)
1757 """
1758 if axis < 0:
-> 1759 rank = ndim(tensors[0])
1760 if rank:
1761 axis %= rank
/home/tristanbf/.virtualenvs/pydev3/lib/python3.5/site-packages/keras/backend/tensorflow_backend.py in ndim(x)
597 ```
598 """
--> 599 dims = x.get_shape()._dims
600 if dims is not None:
601 return len(dims)
AttributeError: 'list' object has no attribute 'get_shape'
私の2番目の推測は、入力を次のように変更することでした https://github.com/keras-team/keras/blob/master/examples/imdb_bidirection_lstm.py ：
encoder_input_data = np.empty(len(input_texts), dtype=object) decoder_input_data = np.empty(len(input_texts), dtype=object) decoder_target_data = np.empty(len(input_texts), dtype=object) for i, (input_text, target_text) in enumerate(Zip(input_texts, target_texts)): encoder_input_data[i] = [input_token_index[char] for char in input_text] tseq = [target_token_index[char] for char in target_text] decoder_input_data[i] = tseq decoder_output_data[i] = tseq[1:] encoder_input_data = sequence.pad_sequences(encoder_input_data, maxlen=max_encoder_seq_length) decoder_input_data = sequence.pad_sequences(decoder_input_data, maxlen=max_decoder_seq_length) decoder_target_data = sequence.pad_sequences(decoder_target_data, maxlen=max_decoder_seq_length)
しかし、私は同じエラーメッセージを受け取りました：
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-75-474b2515be72> in <module>()
73 encoder = Bidirectional(LSTM(latent_dim, return_state=True))
74
---> 75 encoder_outputs, state_h, state_c = encoder(encoder_inputs)
76 # We discard `encoder_outputs` and only keep the states.
77 encoder_states = [state_h, state_c]
/home/tristanbf/.virtualenvs/pydev3/lib/python3.5/site-packages/keras/engine/topology.py in __call__(self, inputs, **kwargs)
601
602 # Actually call the layer, collecting output(s), mask(s), and shape(s).
--> 603 output = self.call(inputs, **kwargs)
604 output_mask = self.compute_mask(inputs, previous_mask)
605
/home/tristanbf/.virtualenvs/pydev3/lib/python3.5/site-packages/keras/layers/wrappers.py in call(self, inputs, training, mask)
293 y_rev = K.reverse(y_rev, 1)
294 if self.merge_mode == 'concat':
--> 295 output = K.concatenate([y, y_rev])
296 Elif self.merge_mode == 'sum':
297 output = y + y_rev
/home/tristanbf/.virtualenvs/pydev3/lib/python3.5/site-packages/keras/backend/tensorflow_backend.py in concatenate(tensors, axis)
1757 """
1758 if axis < 0:
-> 1759 rank = ndim(tensors[0])
1760 if rank:
1761 axis %= rank
/home/tristanbf/.virtualenvs/pydev3/lib/python3.5/site-packages/keras/backend/tensorflow_backend.py in ndim(x)
597 ```
598 """
--> 599 dims = x.get_shape()._dims
600 if dims is not None:
601 return len(dims)
AttributeError: 'list' object has no attribute 'get_shape'
何か助けはありますか？ありがとう
（コード： https://Gist.github.com/anonymous/c0fd6541ab4fc9c2c1e0b86175fb65c7 ）
表示されているエラーは、Bidirectionalラッパーが状態テンソルを適切に処理していないためです。 このPR で修正しましたが、すでに最新の2.1.3リリースに含まれています。したがって、Kerasを最新バージョンにアップグレードすると、質問の行が機能するはずです。
Bidirectional(LSTM(..., return_state=True))からの戻り値は、以下を含むリストであることに注意してください。
- レイヤー出力
- 州
(h, c)フォワードレイヤーの - 州
(h, c)後方層の
したがって、状態テンソルをデコーダーに渡す前にマージする必要がある場合があります（通常は単方向であると思います）。たとえば、状態を連結することを選択した場合、
encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = Bidirectional(LSTM(latent_dim, return_state=True))
encoder_outputs, forward_h, forward_c, backward_h, backward_c = encoder(encoder_inputs)
state_h = Concatenate()([forward_h, backward_h])
state_c = Concatenate()([forward_c, backward_c])
encoder_states = [state_h, state_c]
decoder_inputs = Input(shape=(None, num_decoder_tokens))
decoder_lstm = LSTM(latent_dim * 2, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs, initial_state=encoder_states)