• ビジネス
  • xTECH
  • クロストレンド
  • 医療
  • TRENDY
  • WOMAN
  • ショッピング
  • 転職
  • ナショジオ
  • 日経電子版
  • 日経BP

ディープラーニングにもセキュリティ問題

AIをだます手口に注意

2017年11月18日(土)

  • TalknoteTalknote
  • チャットワークチャットワーク
  • Facebook messengerFacebook messenger
  • PocketPocket
  • YammerYammer

※ 灰色文字になっているものは会員限定機能となります

無料会員登録

close

 ディープラーニング(深層学習)にもセキュリティ問題が存在する。データからルールを導き出す「訓練」に使用するデータに不正なものを紛れ込ませたり、認識に用いるデータにある種のノイズを加えたりすることで、AI(人工知能)に誤検出させようとする。AIの信頼性に関わる問題だけに、米Googleなどが対策に動き出している。

 「AIが判断を間違えると、大変な問題を引き起こす恐れがある。AIをどうやって防御するかが、大きな課題になっている」。Googleに所属するAI研究者であるIan Goodfellow氏はそう語る。2017年10月にシリコンバレーで開催されたディープラーニングに関するカンファレンス「BayLearn 2017」でも、セキュリティ問題が大きなテーマになった。

 GoogleのGoodfellow氏によれば、機械学習ベースの画像認識技術に対する攻撃手法には「アドバーサリアル・エグザンプル(Adversarial Examples)」や「トレーニングセット・ポイズニング(Training Set Poisoning)」などがあるという(図1)。

図1●ディープラーニングに対する主な攻撃手法
[画像のクリックで拡大表示]

自動運転車が交通標識を誤認識する恐れ

 アドバーサリアル・エグザンプル攻撃は、モデルに認識させる画像(エグザンプル)にある種の「ノイズ」を加えることで、画像の被写体を誤認識させる攻撃手法である。ノイズを加えた画像は、人間の目にはノイズを加える前と変わらないように見えるが、画像認識モデルには全く異なる画像に映るのだという(写真2)。ノイズを加えた画像のことを「アドバーサリアル(敵対的な)・エグザンプル」と呼ぶ。

図2●アドバーサリアル・エグザンプル攻撃の例
ノイズを加えると、画像認識モデルは右の画像が「パンダ」だと認識できなくなる
[画像のクリックで拡大表示]

 アドバーサリアル・エグザンプル攻撃が恐ろしいのは、悪用が容易で、社会生活に与える悪影響が大きいことだ。例えば、自動運転車に交通標識を誤認識させる攻撃が有りうる。米ワシントン大学のIvan Evtimov氏らが2017年7月に発表した研究によれば、交通標識に細工をしたステッカーをはり付けるだけで、画像認識モデルをあざむき、「停止」の交通標識を「速度規制」の交通標識に誤認識させられたという(写真3)。自動運転の安全性に直結する問題だ。

図3●自動運転車に対するアドバーサリアル・エグザンプル攻撃の例
交通標識にステッカーをはるだけで誤認識が生じる
[画像のクリックで拡大表示]

コメント4件コメント/レビュー

人間だけじゃなく、AIにも印象操作が有効ってことですね。
そりゃそうだ、人間の神経をモデルにして作られたシステムだから。
AIの方は科学者が今後も改良していくのだろうが
ディープラーニングAI=万能とアドヴァーサリアル・イグザンプル攻撃された年寄りの脳は
いったい誰が責任をもって直すのだろう。(2017/11/19 13:28)

オススメ情報

「シリコンバレーNext」のバックナンバー

一覧

「ディープラーニングにもセキュリティ問題」の著者

中田 敦

中田 敦(なかだ・あつし)

シリコンバレー支局

1998年慶應義塾大学商学部卒業、同年日経BP社に入社。ITproや日経コンピュータを経て、2015年5月からパロアルトに開設したシリコンバレー支局を拠点に、シリコンバレーの最新事情を取材中。

※このプロフィールは、著者が日経ビジネスオンラインに記事を最後に執筆した時点のものです。

日経ビジネスオンラインのトップページへ

記事のレビュー・コメント

いただいたコメント

人間だけじゃなく、AIにも印象操作が有効ってことですね。
そりゃそうだ、人間の神経をモデルにして作られたシステムだから。
AIの方は科学者が今後も改良していくのだろうが
ディープラーニングAI=万能とアドヴァーサリアル・イグザンプル攻撃された年寄りの脳は
いったい誰が責任をもって直すのだろう。(2017/11/19 13:28)

AIの学習に対し「敵対的な」、とはありますが、
人間の目にはパンダに見えるものがパンダだと認識できてない時点で
AI側の問題なのでは?

と素人目線では感じてしまいます…。

きちんと学習が進めばノイズ混じりの画像もパンダと認識出来るようになるということなのでしょうか。(2017/11/19 09:49)

この話はとても面白い。人間の目には正しく認識できるものが機械学習をしているAIの認識では異なるものに見えてしまうという。

ただ、これはほんの一時的な問題に過ぎないと思う。なぜなら、機械学習をするAIに対して、そこに誤認識をさせて誤りを学習させるAIを対峙させて、認識のレベルをどんどん上げていけば済むからだ。

囲碁で名人を破ったアルファーゴーもAI同士で戦って強化されているし、この件もやはりAI同士ですぐに防御できるに違いない。

問題は、超強力なコンピューティングパワーを持ったAIを悪意を持って利用した場合である。世界のスーパーコンピューターのランキングではもはや、上位2位だけでなく、ランキングの半数が中国勢で占められており、彼らに悪意のある人物がいないことを願う。

また、ついに世界第3位を獲得した日本人、齊藤元章氏を応援したい。ぜひ齊藤氏の記事も載せてほしい。(2017/11/18 22:18)

ビジネストレンド

ビジネストレンド一覧

閉じる

いいねして最新記事をチェック

日経ビジネスオンライン

広告をスキップ

名言~日経ビジネス語録

妥当な内容の商品ばかりが並んでも、 お客様は喜んでくれない。

大倉 忠司 鳥貴族社長