optimizer

前回の記事は色々な【深属学習】について話しました。今回の深層学習の最適化手法のAdaBoundを紹介します。AdaBoundはAdamの収束の速さとSGDの汎化性能の良さの良いとこ取りなoptimizerです。   Adamの弱点としては、汎化性能が劣る・未知のデータに弱い・極端な学習率を使うため上手く収束しないことがあります。例えばですが、収束が近くなると学習率は0.01以下の小さすぎる値になったり1000以上の大きすぎる値になったりしてしまうことがあります。逆にメリットとしては、収束が早いという事になります。 この大きすぎたり、小さすぎるを解消するために新しく提案されたのが、AMSBoundという手法になります。   AMSBound の論文はこちらです。   今回はColab（GPU）でKerasのRestNet34のモデルを作成します。Keras-adabound はこちらから参照します。   概要 データセット：cifar10 cifar10は、kerasのdatasetsで提供されている、5万枚の訓練画像と1万枚のテスト画像のデータセットです。画像は32×32のRGBで、画像の下に表示されている数字が正解ラベルです。 0 – airplane　　1 – automobile　　2 – bird　　3 – cat　　4 – deer 5 – dog　　6 – frog　　7 – horse　　8 – ship　　9 – truck   Optimizer：Adam,と AdaBound のOptimizerを比較します。 モデル評価：速い収束、正解率を確認します。   学習条件 共通設定 モデル:　 ResNet34 バッチサイズ　= 512 エポック数　= 100 クラス数　= 10   Optimizerの設定 adabound  …

AdaBound 新しい深層学習のoptimizer Read More »