最初は機械学習のサンプルとしてよくあるMNISTの分類を行う。MNISTは、0〜9までの手書き文字の画像で、訓練データが6万件、テストデータが1万件存在する。
図：MNISTのサンプル
なお、MNISTのデータセットへのインターフェイスはKeras自体に付属しているので、以下のコードでデータセットを読み込める。(初回ロード時にはデータをダウンロードしに行くので、多少時間が必要。)
from keras.datasets import mnist
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
original_test_labels = test_labels
original_test_images = test_images
ニューラルネットにこのデータを入力して学習させる前に、まずはニューラルネット(tensorflow) が受け付けられる形式にデータを整形する必要がある。
train_images = train_images.reshape((60000, 28 * 28))
train_images = train_images.astype('float32') / 255
test_images = test_images.reshape((10000, 28 * 28))
test_images = test_images.astype('float32') / 255
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)
MNISTのデータは28x28ピクセルを表現した二次元配列であり、各ピクセルは0〜255 (グレースケール) の値を取る。各データを一次元の配列で0〜1までの実数(浮動小数点数) に変更する
データのラベルは0〜9までの整数で表現されているので、ワンホットベクトル形式に変更する。ワンホットベクトルとは、以下の形式の表現。
0 => [1,0,0,0,0,0,0,0,0,0]
1 => [0,1,0,0,0,0,0,0,0,0]
2 => [0,0,1,0,0,0,0,0,0,0]
この変換をしてくれるkerasの関数がある。(keras.utils.to_categorical)
カテゴリをワンホットベクトル形式で表現する必要性については、このサイトの説明が分かりやすかった。(多分、線形演算でカテゴリの分類を扱うための技法ということらしい。) この程度の変換は良きにはからって勝手にやってくれと思わんでもない。
次から、ニューラルネットのモデルを定義する。
models.Sequencial は、その名の通り「順番に」 ニューラルネットの層を重ねるモデルである。Dense というレイヤーは、密結合(全結合)ネットワークで、前のノードとの間に全てエッジが引かれる。最初の引数はその層のノード数を表し、activationは活性関数を表す。
network = models.Sequential()
network.add(layers.Dense(512, activation='relu', input_shape=(28 * 28,)))
network.add(layers.Dense(10, activation='softmax'))
最初はニューラルネットのモデルがあまり分からなかったので図にしてみた。こんな感じだと思われる。
Layerはその名の通り「層」を表すものだけど、むしろ層と層を繋ぐ方法を指定するものだとイメージしたほうが分かりやすいかもしれない。
学習させる前に、compile関数でモデルの準備を行う。このとき、最適化関数、損失関数、メトリクスを定義する。それぞれの役割と詳細はここでは省略する。
network.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
学習実行
訓練データに対して、学習を10回実行する。epochsで訓練回数を指定。batch_size は訓練バッチのサイズを指定するもので、ここで指定したサンプル数ごとに勾配の更新を行う。今回はCPUのみで学習を実行したが、この程度であれば数分もかからず学習が完了した。
network.fit(train_images, train_labels, epochs=10, batch_size=128)
そして、evaluate関数でテストデータを用いて訓練したモデルを評価する。テストデータに対する正答率は97.9%くらい。
test_loss, test_acc = network.evaluate(test_images, test_labels)
print(test_acc)
予測と結果の表示
書籍のサンプルとしてはここまでだけど、単に学習させるだけで終わっても面白くないので、簡単に結果を確認してみたい。
まずは結果概要を確認するために混同行列を表示する。縦の列が本来の値で、横の行がニューラルネットによる推測値である。対角線上の値が正解数を意味する。
[[ 970 1 0 1 1 0 4 1 2 0]
[ 0 1123 4 1 0 1 3 1 2 0]
[ 1 0 1013 1 2 0 3 7 5 0]
[ 0 0 4 990 0 4 2 3 3 4]
[ 0 0 2 0 964 0 8 2 0 6]
[ 2 0 0 7 0 874 5 1 1 2]
[ 3 2 1 1 1 2 948 0 0 0]
[ 1 3 9 1 0 0 0 1003 3 8]
[ 1 0 3 3 3 2 2 2 953 5]
[ 0 2 0 1 8 3 1 5 3 986]]
厳密に統計的な分析をしたわけではないけど、6, 8, 9などの丸を含む数字は苦手なのだろうか、という印象。
更に、誤った予測をされた数字の画像を出力させたいので、テストデータに対して予測を行う。ここで使うのは predict_classes メソッドで、テストイメージのNumpy配列を受け取り、クラス(カテゴリ)の予測結果、つまり0〜9の値が入った配列を返す。
predicted_classes = network.predict_classes(test_images)
ニューラルネットの予測のうち、誤答だったものを画像で100件出力してみる。左上の青文字が正解のラベルで、赤字がニューラルネットの予測値 (誤答)
0と6の混同など、文字が乱雑すぎて人間でも同じ間違いをするだろうという感じの文字もあるし、2と8のように何故こんな不可解な間違いをするんだっていう予測もある。今回は2次元の画像データを1次元のベクトルに変換しており、縦方向の形状を活用できる処理をしていないからこうなるのでしょう。(ちなみに、本書ではCNNは5章で扱われる予定)
一応今回のコードは以下のgistに掲載した。
"Deep Learning with Python" のMNISTサンプル · GitHub
今回は以上です。
