CIFAR-10 Tutorial (tensorflow)

はじめる前に

このチュートリアルを始める前に、以下の KAMONOHASHI のインストールが終わり、KAMONOHASHI にログインできることを確認してください。

はじめに

本チュートリアルでは、KAMONOHASHI を使用する方法について簡単に説明します。具体的には KAMONOHASHI を使用して、機械学習手法を試す際によく用いられる cifar-10 の画像分類モデルを学習させる方法を以下の手順に沿って説明します。

データをアップロードする
データセットを作成する
学習を実行する
TensorBoard で学習の状況を表示する
学習のログを確認する

データをアップロードする

KAMONOHASHI にデータをアップロードする流れを説明します。

cifar-10 データセットをダウンロードする

このチュートリアルでは、cifar-10 データセットを使用します。cifar10 は、カラー画像のデータセットです。

画像サイズは 32 x 32px
10 クラスの画像がそれぞれ 6000 枚、計 60000 枚の画像がある
そのうち 50000 枚が学習データ、10000 枚がテストデータ
クラスは airplane, automobile, bird, cat, deer, dog, frog, horse, ship, truck

KAMONOHASHI にアクセスできる端末に CIFAR-10 binary version (cifar-10-binary.tar.gz) をダウンロードしてください。 cifar-10 のデータをダウンロードする

データを解凍する

このデータセットは解凍すると、

data_batch_1.bin
data_batch_2.bin
data_batch_3.bin
data_batch_4.bin
data_batch_5.bin
test_batch.bin

というファイルに分割されます。それぞれの bin ファイルは、32x32x3 の画像データが 1 万枚ずつ含まれています。画像 1 枚あたり、先頭 1 バイトがラベル + 32x32x3 バイトが画素情報という構成になっており、これが先頭から 1 万個結合されているのが bin ファイルです。

データを KAMONOHASHI にアップロードする

データが用意できたら KAMONOHASHI にアップロードしましょう。 [データ管理]を選択し、右上の新規登録ボタンから行います。

種類	説明
データ名	(例)data_batch_1.bin
メモ	画像の説明など補足情報。
タグ	データの種類や受領日などグルーピングしたい単位に付与し、検索等で利用する。
ファイル	複数のデータを登録できる。jpg/png/csv/zip など、ファイルのデータ形式は任意。

上記の情報を入力し、右下の登録ボタンを押すとデータをアップロードすることができます。コマンドラインインターフェイス（CLI）を使用してデータをアップロードすることも可能です。

KAMONOHASHI では、複数のファイルを一つのデータとして管理可能ですが、今回は個別に、一ファイル一データとして登録します。

データアップロード

登録したデータは、データの一覧画面で確認できます。

データ一覧

データセットを作成する

[データセット管理]を選択し、右上の新規登録ボタンから行います。アップロードしたデータを training 用、test 用にまとめます。下図では、data_batch を training、test_batch を testing に移動させています。

データセットアップロード

学習を実行する

学習は KAMONOHASHI が管理するクラスタで計算を実行するための最小単位を表します。学習を開始すると KAMONOHASHI はクラスタから指定された CPU、メモリ、GPU リソースを確保し、Docker コンテナを起動し計算環境を用意します。ユーザはこの環境を利用し、任意の計算を行うことができます。学習は CLI、GUI の両方から起動できます。 GUI で学習を開始するには[学習管理]を選択し、新規登録ボタンから行います。詳細はUser Guideを参照してください。

step1

学習名を記入し、先ほど登録したデータセットを選択します。半角英数小文字、または記号(“-”（ハイフン）) 30 文字以下で指定可能です。ジョブ1

step2

フレームワークとモデルをテキストエリアに記述し、実行コマンドを記述します。本チュートリアルではフレームワークはDocker Hubの公式イメージ(tensorflow/tensorflow)を使用しています。

ジョブ2

コンテナイメージ

コンテナイメージ	記述例
レジストリ	officail-docker-hub(選択)
イメージ	tensorflow/tensorflow
タグ	1.15.2-gpu

※Docker Hub を指定した後イメージ、タグをテキストエリアに入力してください。

モデルのサンプルコード

モデル	記述例
Git サーバ	GitHub(選択)
リポジトリ	KAMONOHASHI/tutorial
ブランチ	master

※Git Hub を指定した後リポジトリ、ブランチをテキストエリアに入力してください。

実行コマンド例

python -u tensorflow/train.py \
--images /kqi/input/training \
--anns /kqi/input/training \
--train_log_dir /kqi/output/demo \
--parameter_dir /kqi/output/demo \
--max_steps=5000