ＡＩの実社会への応用展開が勢いを増している。それと歩調を合わせて、ＡＩの問題点も急速にクローズアップされ、これに関わる議論と研究が注目を集めつつある。

■ 深層強化学習の問題点

AlphaGo（囲碁ＡＩ）の中核技術で最近のＡＩの花形である深層強化学習（Deep reinforcement learning）に関して、Google DeepMind社のブログ（https://blog.openai.com/faulty-reward-functions/、2016年12月）に、奇妙な振る舞いが報告された（前記ブログの動画参照）。ゲーム上で、ゴールにまっしぐらに進むべきボートが、なぜか同じところをグルグル回り、ものにぶち当たりまくっている。ゲーム得点を最大化するよう学習した結果、設計者も気づかなかった「裏技」を発見してそれにトラップされていたのである。この奇妙な行動の方がゴールに向かう「正しい」行動よりもたまたま得点が高くなるのであった。

強化学習は、タスクの成果に対する報酬を定義するだけで、システムが自動的に試行錯誤で学習し、学習データの事前用意もいらない便利な手法である。しかし、報酬の設計次第で、人間の期待とはかけ離れた「非常識な」結果となる場合がある。そして、実世界の複雑な状況では、適切な報酬設計、つまりＡＩシステムに人間の意図を的確に伝えることは思いのほか難しい。

■ 深層ニューラルネットワークの問題点

コンボリューショナル・ニューラルネットワーク（ＣＮＮ）は、画像認識をはじめとして、さまざまな深層学習手法の部品にも幅広く使われる、深層ニューラルネットワークの代表格である。非常に多くのＡＩシステムの性能と信頼性を左右するこのＣＮＮを、確実に機能不全に陥れる方法が、アドバーサリアル・イグザンプル（Adversarial examples＝敵対的画像？訳語は未確定）である（解説＝https://elix-tech.github.io/ja/2017/10/15/adversarial.html）。ＣＮＮが学習済みで正しく認識する画像（例「パンダ」）に、ある手順でつくった弱い特別なノイズを加えると、人間の目には同じなのに、突然見当違いの答えを出し始める（例「テナガザル」）。

■ 対策、そして新たな研究課題

そのほか、学習データにもともと含まれる偏りが素直に反映され、不適切な動作（偏見や差別など）をもたらす、データバイアスの問題も以前から指摘されている。

これらはいずれも、ＡＩの安全性・信頼性および人間の常識や価値との整合性を損なう可能性があり、実世界応用に深刻な影響を与えかねない。数年前から指摘され始め、最近ますます研究が盛んになり、多くの対策手法が提案されている。しかしその多くは対症療法的で、根本的な解決には至っていない。

実用上は、これらの問題を正しく認識したうえで、適切な対策手法と運用体制（最終判断は人間が行うほか、監視・検査体制など）を導入するのが解決策となる。ただし、根本的な解決のためには、「意図理解」「常識」「メタ認知」（自らの認知についての認知）など、現在のＡＩに欠けている認知機能の開発が必要だろう。要するに、システムがデータや報酬を鵜呑みにして「最適」出力を計算するのでなく、人間の暗黙の真意を汲み取り（「忖度」）、求めた結果がどういう意味か、何を引き起こすか、人間の常識に照らして適切なのか、といった判断と修正を自ら行う能力が必要である。そのためには、人間の認知に関する深い研究と、それに基づく新たなＡＩ構築手法の研究が不可欠である。

■ 国内外の動向

筆者がセンター長を務める東京大学次世代知能科学研究センター（ＡＩセンター）では、このような新たな方向性を重視し、研究および開かれた議論を推進している。世界的にも、上述の問題を含むさまざまな問題とその影響、解決に向けた技術課題と運用体制や社会制度等についての議論が数年前から盛んに行われ、Partnership on AIやIEEE EAD（Ethically Aligned Design）などの組織が国際ネットワークをつくり活動している。当センターは両方に加盟し、国内外のネットワークのハブとしてのBeneficial AI Japan（http://bai-japan.org/）の活動も支援している。日本政府でも、総合科学技術・イノベーション会議のもと、産学民官のマルチステークホルダーが参加するかたちで「人間中心のＡＩ社会原則」について議論がなされている。

わが国産業界においても、ＡＩの本格的な活用に深刻に影響しかねないこれらの問題に関する正しい理解が広まり、直近の対策を講じることはもとより、根本的な解決に向けた取り組みが進められることが強く期待される。

【２１世紀政策研究所】

「２１世紀政策研究所　解説シリーズ」はこちら