web-dev-qa-db-ja.com

ケラス:LSTMドロップアウトとLSTM再発ドロップアウトの違い

Kerasのドキュメントから:

ドロップアウト:0から1の間で浮動します。入力の線形変換のためにドロップする単位の端数。

recurrent_dropout:0から1の間で浮動します。再帰状態の線形変換のためにドロップする単位の端数。

誰もが各ドロップアウトの下の画像のどこを指し示すことができますか?

enter image description here

48
Alonzorz

(最初の部分) このペーパー をご覧になることをお勧めします。通常のドロップアウトは、入力および/または出力に適用されます。つまり、x_tからh_tへの垂直矢印が適用されます。あなたの場合、レイヤーに引数として追加すると、入力がマスクされます。繰り返しレイヤーの後にドロップアウトレイヤーを追加して、出力もマスクできます。繰り返しドロップアウトマスク(または「ドロップ」)繰り返しユニット間の接続。それはあなたの写真の水平矢印です。

この写真は上記の紙から取られています。左側では、入力と出力の通常のドロップアウト。右側には、通常のドロップアウトと繰り返しドロップアウトがあります。

This picture is taken from the paper above. On the left, regular dropout on inputs and outputs. On the right, regular dropout PLUS recurrent dropout.

(この場合、矢印の色は無視してください。紙では、各タイムステップで同じドロップアウトマスクを維持するというさらなるポイントを作成しています)

52
Michele Tonutti