web-dev-qa-db-ja.com

KerasのDenseレイヤーとActivationレイヤーの違い

KerasのActivation LayerとDense Layerの違いは何だろうと思っていました。

Activation Layerは完全に接続されたレイヤーのようであり、DenseにはActivation関数を渡すためのパラメーターがあるため、ベストプラクティスは何ですか?

次のような架空のネットワークを想像してみてください:入力->密->ドロップアウト->最終レイヤー最終レイヤーは:Dense(activation = softmax)またはActivation(softmax)?最もきれいなものは何ですか?なぜですか?

みんな、ありがとう!

23
Pusheen_the_dev

Dense(activation=softmax)を使用することは、最初にDenseを追加し、次にActivation(softmax)を追加することと計算的に同等です。ただし、2番目のアプローチには1つの利点があります。そのような定義されたモデルから(アクティブ化前の)最後のレイヤーの出力を取得できます。最初のアプローチでは-それは不可能です。

35
Marcin Możejko