現在のAIブームを牽引しているニューラルネットワークですが、ブームになるのは今回が3回目だといわれています。 この記事では、過去のブームをまとめてみました。
何か新しい技術を学ぶ時、その発展の流れを知っていると理解をしやすくなると思っています。 この記事が、特にこれからニューラルネットワークについて学ぼうとする方の参考になれば幸いです。
この記事では数式は登場しません。前提知識なく読めるように意識していますが、ニューラルネットワークについてあまり詳しくない方は「ニューラルネットワークは、データから規則を学ぶための仕組みである」ということを覚えておいていただけると記事が読みやすいかと思います。
第1次ニューラルネットワークブーム
ブームのきっかけは、1943年に発表された形式ニューロンです。 神経科学者のマッカロックと数学者のピッツによる共同論文の中で生み出されたもので、人の脳内のニューロン細胞を模したモデルです。
1957年、心理学者であるローゼンブラッドは、形式ニューロンを多数つなげることで、複雑な問題を解くことができるのではないかと考えます。 彼はそれをパーセプトロンと名付けて発表しました。 このように、ニューロンを多数つなげたモデルをニューラルネットワークと呼びます。 パーセプトロンでは、データを与えれば「パーセプトロンの学習規則」という手法に沿って、ネットワークを学習させることができました。
人間の脳にあるニューロン細胞を模したモデルによって、データから規則を学習できるというのは、おそらく当時の人にとってもAIの発展を大きく予感させるものだったと思います。その後、ブームに突入します。
しかし、1969年ミンスキーにより、パーセプトロンでは解けない問題があることが指摘されます。 正確に言うと、ミンスキーが指摘した問題も、より複雑なネットワークを使えば解けることは分かっていました。しかし、そのような複雑なネットワークは、「パーセプトロンの学習規則」では、学習させることができなかったのです。 これにより、第一次ブームは終焉へと向かいます。
ちなみに、ミンスキーは「人工知能の父」ともいわれる人で、初期の人工知能研究に大きく貢献した方でした。また、ローゼンブラッドとは高校の同級生だったとのこと。
第2次ニューラルネットワークブーム
1982年、ホップフィールドによりニューラルネットワークの一種であるホップフィールドネットワークが発表されたことを火付け役としてブームが再燃します。 ホップフィールドネットワークは、もともと物理学者であったホップフィールドが、物理学のためのモデルとして考えたもののようですが、それがネットワークを使った記憶・連想のモデルとして歓迎されました。 その後、1986年に、ラメルハート、ヒントン、ウィリアムズが、バックプロパゲーションという効率的な学習方法をまとめ、本格的なブームに突入していきます。 また、認知科学分野では、ニューラルネットワークを用いて人間の心を理解しようとするコネクショニズムという分野も活発になったそうです。
しかし、第2次ブームも終焉に向かいます。 経験的に、複雑なネットワークであればあるほど複雑な問題が解けるということがわかっていました。 やや不正確な言い方になってしまいますが、ざっくりいうと層という単位をたくさん持つ（層の深い）ネットワークの方が、複雑な問題が解けることが分かっていました。 にもかかわらず、バックプロパゲーションを使った学習方法では、勾配消失・勾配爆発という現象が発生してしまうため、層の深いネットワークの学習ができなかったのです。
第3次ニューラルネットワークブーム
2006年、先のブームでバックプロパゲーションの提唱者の1人であるヒントンにより、層の深いネットワークを学習させるための手法が発見されます。 この手法では、ネットワークの学習をすじのよさそうな初期状態からスタートさせることで、ネットワークの学習が可能となります。 また、すじの良い初期状態を探すためにオートエンコーダーという仕組みが使われました。 このような層の深いネットワークは、ディープニューラルネットワーク。また、ディープニューラルネットワークを使った学習手法は、ディープラーニングと呼ばれるようになりました。
2012年には、ヒントンらが率いるグループが、国際的な画像認識コンテストであるILSVRCで、圧倒的な性能で優勝を果たし、そこから第3次ニューラルネットワークブームに突入していきます。
さらに、2016年にGoogleが作成したディープラーニングを使用した囲碁AIであるアルファ碁が、トップ棋士の一人であるイ・セドルさんを破りました。 現在のように、一般向けニュースにディープラーニングという言葉が出てくるようになったのは、おそらくこの時期からではないかと思います。 いづれにしても、ディープラーニングという手法の可能性を広く世の中に印象づける出来事であったと思います。
なお、現在ではオートエンコーダーが初期状態を探す目的で使われることはほとんどないようです。（補足ですが、ネットワークを使ってデータを生成するという目的では、オートエンコーダーをベースにした手法が今も使われています。）
代わりに、学習を行うためにかなり多くの工夫や手法が開発されています。 主要なものをあげるだけでも、下記のように数多くの手法が使われていることがわかります。
- オプティマイザーの工夫
- Momentum、RMSProp、AdaGrad、Adam
- 活性化関数の工夫
- ReLU
- ネットワーク構造の工夫
- Inception、残差ネットワーク
- 初期値の工夫
- Xavierの初期値、Heの初期値
- その他
- バッチ正規化、注意機構
また、最近では、強化学習と呼ばれる手法と組み合わせて使われていることも増えてきているようです。
まとめ
以上、簡単ですがニューラルネットワークのブームを振り返ってみました。 現在は第3次ブームと言われていますが、ブームと言ってしまうといつか終わりが来るという印象を持ってしまいます。 実際に、過去2回あったブームは終わってしまいました。
おそらく、現在のように注目される状態がずっと続くわけではないでしょう。そういった意味でのブームは、いつか終わりが来るのだと思います。 しかし、過去のブームと違うのは、現在のディープラーニングは、ほかの手法では解くことが難しい問題を解けるようになっていることです。 これらの領域に関しては、ブーム終了後もディープラーニングが使われ続けていくと思います。 つまり今回のブームが終わった後は、ディープラーニングは使っていて当たり前の技術になっていくのだと思っています。
