Aidemy Tech Blog

機械学習・ディープラーニング関連技術の活用事例や実装方法をまとめる、株式会社アイデミーの技術ブログです。

少ないデータ量でも精度の高いディープラーニングができる"転移学習"とは

転移学習とは

転移学習とは、ある領域(ドメイン)で学習させたモデルを別の領域の学習に利用する技術です。

転移学習の何が良いのか

少ないデータ数でも精度の高い学習結果を得ることができます。 一般的に、ディープラーニングは大量のデータ数が無いと使えないと思われています。それは正しい認識ですが、 ある学習済みのモデルを転用することで少ないデータ数でもディープラーニングをさせることが可能です。

画像認識という処理には"ものの見分け方"という共通のタスクがあるため、転移学習が上手くいきます。

f:id:diaki-hk:20170706202719p:plain 最初の学習は大量の画像が必要。

f:id:diaki-hk:20170706202816p:plain 一度学習済みのモデルは認識の仕方が分かっている。

転移学習の課題点

自然言語処理に適用させることが難しいです。
これは人間に置き換えてみると少しわかることで、大量の単語の意味を理解していても、全く新しい固有名詞を与えられて理解できる人はいないはずです。 ただ、似たようなタスクであれば転移が上手くいく可能性があるようです。
例えば、ある媒体でネガポジ判定をしたい場合、別のデータセット(媒体)で同じタスクをしたモデルがあれば転移学習が利用できそうです。

文章に知らない単語が多くても、良いこと言っているか悪いこと言っているかは判断つきそうですよね。

転移学習の可能性

シュミレーターでデータを作って学習モデルを作り、それから実際の少量のデータを学習させることができます。
あるベーシックなデータで学習させたモデルをベースに、ユーザー個別に学習させることができます。
別のドメインで学習されるので、過学習を回避しやすくなります。