Kerasでアクティベーションのパラメータチューニング

＃ライブラリーのインポート

import numpy as np

from keras.models import Sequential

from keras.layers.core import Dense, Activation

from keras.optimizers import SGD

from sklearn import datasets

from sklearn.model_selection import train_test_split

from tensorflow.examples.tutorials.mnist import input_data

%matplotlib inline

import matplotlib.pyplot as plt

#データロード

mnist = input_data.read_data_sets(‘MNIST_data’, one_hot=True)

# データ用意

n = len(mnist.train.images)

N = 10000  # MNISTの一部を使う

indices = np.random.permutation(range(n))[:N]  # ランダムにN枚を選択

X = mnist.train.images[indices]

y = mnist.train.labels[indices]

X_train, X_test, Y_train, Y_test = train_test_split(X, y, train_size=0.8)

#ニューラルネットワーク作成

n_in = len(X[0])  # 784

n_hidden = 200

n_out = len(y[0])  # 10

alpha = 0.01

model = Sequential()

model.add(Dense(n_hidden, input_dim=n_in))

# 詳しくはhttps://keras.io/ja/activations/

model.add(Activation(‘softplus’)) #パラメーターチューニング

model.add(Dense(n_hidden))

model.add(Dense(n_out))

model.add(Activation(‘softmax’))

model.compile(loss=’categorical_crossentropy’,

              optimizer=SGD(lr=0.01),

              metrics=[‘accuracy’])

# モデル・図作成

import time

t0 = time.time()

epochs = 100

batch_size = 50

history = model.fit(X, y, validation_split=0.8, epochs=epochs, batch_size=batch_size, verbose=0)

plt.plot(history.history[‘acc’])

plt.plot(history.history[‘val_acc’])

plt.title(‘Activation: softplus’)

plt.ylabel(‘accuracy’)

plt.xlabel(‘epoch’)

plt.legend([‘train’, ‘test’], loc=’lower right’)

plt.ylim(bottom=0)

plt.ylim(top=1)

plt.show()

t = time.time() – t0

print(“train time =”,t )

loss_and_metrics = model.evaluate(X_test, Y_test)

print(loss_and_metrics)