統計・分析を極める

【連載第1回】ニューラルネットの歩んだ道、ディープラーニングの登場で全てが変わった

ディープラーニングのビジネス活用を探る(1)

2015.04.21大野健太=Preferred Networks

ディープラーニングのビジネスへの活用の可能性を探る。初回はディープラーニングの登場がどんな意味で大事件だったのかを解説する。

 その後の研究でXOR問題はパーセプトロンに隠れ層を入れれば理論上は解決できることが分かった。さらに、1986年に隠れ層を持つニューラルネットを高速に学習する「誤差逆伝播法」と呼ばれる訓練方法がアメリカの心理学者デビッド・ラメルハートらによって発見されると、第2次ブームが巻き起こった。

 ところが現実には深いニューラルネットは満足な精度を得られなかった。確かに理論上は十分な予測精度があったものの、深いニューラルネットを学習できるほど十分なデータを当時は得られなかったのが原因と言われている。この学習データ不足による精度の不足がニューラルネットの2つ目の困難である。

ニューラルネットブームと冬の時代

大量のデータで復活した

 状況が変わり始めたのは2000年代後半である。この頃になると学習に十分な大量データと、それを処理できる計算機が比較的容易に入手できるようになった。これらの要因に加えて、冬の時代にも着々と進められた技術的進歩が相まって、深いニューラルネットは既存手法を凌駕する精度を達成できるようになった。

 ディープラーニングという言葉が使われ始めたのもこの頃からである。今もディープラーニングで指導的な研究を行うカナダのトロント大学のジェフリー・ヒントン教授は、2006年の論文で層が深いニューラルネットを総称してディープネットワークと呼び、現在は中国のバイドゥに所属するアンドリュー・ング氏は2007年の論文で「高次元データの階層的な表現の学習」にディープラーニングという言葉を用いている。

 ディープラーニングの圧倒的な精度を示す2つの出来事が2012年に起こった。1つは画像認識コンテスト「ILSVRC(ImageNet Large Scale Visual Recognition Challenge)」で、ヒントン教授らのグループがニューラルネットを用いたSupervisionという手法で、1年前の優勝記録の誤り率25.7%から15.3%へと4割も削減し圧勝した。

 もう1つは米グーグルが構築したニューラルネットがYouTubeの動画を学習して、猫を自動的に認識したことである。これらはディープラーニングの威力を強く印象づけ、現在も続くブームを引き起こした。

 ヒントン教授らが優勝したコンテストで使われたデータセットを使って今も画像認識の精度が競われている。特に2014年8月から半年間で、グーグル、バイドゥ、米マイクロソフトがいずれもディープラーニングの手法で次々に記録を更新した。現在の誤り率の最高記録はグーグルの報告した4.9%である。諸説あるがこれは人間の認識精度を甘く評価した誤り率5.1%を既に超えている。

印刷

日経ビッグデータの最新号

3月号特集

オンリーワンデータで成長戦略を描く

現場に出向けば、価値あるデータを創出できる

年間購読のご案内

申し込む

お問い合わせ

日経ビッグデータのサイトへ

本サイトは更新を終了しました

 「日経ビッグデータ」は2018年4月2日、「日経クロストレンド」に名称を変更しました。データ活用やAI関連の最新記事は日経クロストレンドでお読みください。

 本サイトは更新を終了し、19年3月31日に閉鎖する予定です。長い間のご利用、ありがとうございました。