高度な活性化関数PReLU
今回は高度な活性化関数のPReLUについて解説と実験します。 目次： １．PReLUとは ２．KerasのPReLU ３．コード・実験 (ReLU vs PReLU) ４．まとめ PReLUとは PReLU は、Parametric Rectified Linear Unitの略称で、ReLUと似ていますが、負のアウトプットがあります。インプットが閾値よりも少ない度合に応じて、負の値を出力するようになっています。特に深い階層において過学習を防ぐ効果があると言われています。プラスとマイナスのどちらにも勾配があるため、学習効率が良いと言われているようです。 f(x) = alphas * x for x < 0 alphasはxと同じ行列を持つ学習対象の配列です。 PreLUの論文：Microsoft Research Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification https://arxiv.org/abs/1502.01852 ２．Kerasの高度な活性化関数のPReLU keras.layers.PReLU(alpha_initializer=’zeros’, alpha_regularizer=None, alpha_constraint=None, shared_axes=None) alpha_initializer：重みを初期化する関数。 alpha_regularizer：重みを正則化する関数。 alpha_constraint：重みに対する制約。 shared_axes：活性化関数で共有する学習パラメータの軸。 出力のshapeは入力のshapeと同じです。 ３．コード・実験 (ReLU vs PReLU) 概要：データセット：MNIST 60,000の学習データと10,000のテストデータ（28 x …