ディープラーニングは2011年頃から急速な進展を見せ始め，瞬く間に実用的なテクノロジーへと進歩した。今や当初の狙いだった画像認識はもとより，苦手と考えられていた文章理解でも，ベンチマークテストで人間の平均点を上回るスコアをたたき出すようになった。だがその一方で，悪意をもって誘導すると，人間なら決してしないような誤った判断を下すことも明らかになってきた。例えば「止まれ」と書かれた標識の一部にシールを貼るだけで，「時速45km制限」の標識だと誤認する。

　厄介なことに，誤認を誘導する方法はわかっているが，AIがなぜそんなに簡単に騙されるのか，そこにどんなメカニズムが働いているのかはわかっていない。したがってそうした攻撃を根本的に防ぐ方法は見つかっておらず，研究においても騙す側と防ぐ側のいたちごっこが続いている。

　AIのこうした特性は，AIが「人工知能」というネーミングに反して，我々の脳のようには動作していないことを示唆している。AIが普及して自動運転をはじめ医療や投資のアドバイスなど様々な応用に活用されるようになったとき，我々には思いもつかない突拍子もない誤判断をしかねないということだ。AIがいったいどういうふうに考え，どのように物事を判断しているのかを探り出す試みが始まっている。