現在の人工知能（AI）の課題は、推論プロセスがブラックボックスであること。つまり、AIの思考を人間が理解できないのです。それを解決するものが「説明可能なAI」です。これが実現すると、AIを安心して利用できる社会づくりに役立てることができます。今回は、説明可能なAIについて解説します。
推論プロセスを人間に伝える、説明可能なAI
昔のAIと現在のAIの違いは何でしょうか。その答えのひとつとして「膨大なデータを使ってAI自身が学習する力を身に着けた」という点が挙げられます。例えば、将棋をするAI。かつての将棋用AIは、人間がプログラミングして作っていました。そのためAIの強さは、プログラミングした開発者自身（あるいは関与した監修者）の「将棋の強さ」に左右されていたわけです。
ところが現在のAIは、将棋の棋譜を学習、研究し、AI同士で勝負を繰り返すことによって、飛躍的に強くなっていきます。そのため、AIのプログラマーに将棋の実力がなかったとしても、強い将棋用AIを作り出すことが可能なわけです。これによって、今やAIは自分自身で力を高め、人間のプロ棋士に勝つまでのポテンシャルを持ち始めています。
AIの弱点はブラックボックスであること
そのようなAIにも大きな弱点があります。それは、AIの推論プロセスを人間に伝えられないこと。よく「AIはブラックボックス」という言葉を聞きますが、それは「もはやAIが推論した道筋や根拠を、人間が追うことができない」という意味です。
しかし、これからの実社会でのAI活用を考えると、「推論プロセスや根拠を示してくれるAI」のほうが望ましいのは明らか。それが「説明可能なAI」「解釈可能なAI」「XAI（Explainable AI）」「信頼できるAI」「ホワイトボックス型AI」などと呼ばれているものです。それぞれの言葉の意味に多少の違いがありますが、ここではまとめて「説明可能なAI」と記載します。
＜【第3回】XAI (説明可能なAI) の必要性＞
ブラックボックスなAIが抱えている課題
AIのブラックボックス性が大きな問題となるのは、どのようなケースでしょうか。将来起こるかもしれないシーンを想像して、考えてみましょう。
大学選び
受験生であるあなたに対してAIが、まったく想定していなかった大学名、学部を挙げて「ここを受験するべき」と提示して、高校の先生も「AIが言っているんだから、ここにしたら？」と勧めてきたら、どう思いますか？ せめて「その根拠は？」と聞き返したくなりますよね。
恋愛診断
恋愛中の相手について「この人と結婚したら、不幸せになるでしょう」とAIが言ってきたら、どうでしょう。あなたはAIの判断を信じて相手と別れますか？ それとも諦めずに「この人の何がいけないの？」と食い下がりますか？ とはいえ、現状のAIは自らが判断した理由について教えてくれたりはしません。
マーケティングや経営の判断
AIが根拠も示さずに「この商品は売れる」と進言し、それを信じた会社の社長が大量に製造した結果、売れ残ったとします。その責任はAIが負うべきでしょうか？ それとも検証もせずに信用して大量生産に踏み切った社長が悪いのでしょうか？
もちろん、AIがブラックボックスのままでも問題ないという利用領域もあります。しかし、AIによる推論のプロセスや根拠がわからないと、人間はAIの結論に信頼を置くことが難しくなります。AIを信頼して活用できる社会を作るためにも、説明可能なAIが求められるのです。
AIが推論プロセス、根拠を示すとはどういうことか？
説明可能なAIは、今まさに実用に向けての取り組み、研究が進んでいる段階であり、いろいろな方法を模索し、試行錯誤している状況にあります。今後もまったく新しい説明手法が編み出される可能性もあります。
説明する機能を追加するパターン
誰しも、ふとした瞬間にグッドアイデアを思いつくことがあります。しかし「なぜあんなことを思いつけたのか？」と聞かれると、少々困ってしまいますよね。けれどもなかには「あれが理由だったのかも」と説明できるケースがあるかもしれません。
それと同じような形で、ブラックボックスなAIに対して、説明する機能を追加していこうという研究もあります。
類似している過去のデータを提示するパターン
冒頭で、最近のAIは膨大なデータを使って自ら学習すると説明しました。ということは、AIの推論プロセスのヒントは、過去のデータにあるとも考えられます。そこでAIによる説明に、過去のデータを参照するという研究も進められています。
検知した特徴を教えてくれるパターン
すでに説明可能なAIに近づいている取り組みもあります。
例えば医療分野では、膨大な検査画像のチェックにAIを取り入れているところも存在しています。医師だけで患者のレントゲン写真などをチェックする場合は、たくさん見ていれば疲れもします。また、見つけにくい箇所にある病変（病気を発症している箇所）を見逃すこともあるかもしれません。しかしAIであれば、疲れることなく迅速にチェックできます。そしてAIと人間がダブルチェックすれば、見逃しのリスクを減らし、検査精度を高めることができます。
ところで、このとき病気と診断した画像に対して、AIが何の根拠も示さなかったらどうでしょう。
「この検査画像を見てAIがガンだと指摘しているんだけど、どこがガンなのかわからない」ということもあるかもしれません。とはいえ「本当に発症しているかはわからないが、AIが言っているんだから」と手術に踏み切るわけにもいかないでしょう。そもそもAIが間違える可能性もあるのですから、AIの診断をうのみにするわけにもいきません。
そこで「AIは、画像のこの部分を見て、病変だと判断した」ということがわかるように画像にマークを付けるなどして、人間の医師に伝えるのです。それを見れば「本当に発病しているかどうか」を人間の目で確認できます。
防犯カメラなどにも応用
この種のパターンはAIが画像を分析したプロセスそのものを説明するわけではないので、説明可能なAIの初期モデルと呼べるのかもしれません。しかし、こういった視覚的な手法は他の分野でも活用されています。
例えば、防犯カメラの映像。防犯カメラでは24時間映像が記録されており、深夜に侵入して不審な動きをする人のようなものが映ればAIがすぐに警告を出せます。
ところが防犯カメラにはいろいろなものが写ります。見回りをする警備員、窓の外で風に舞う木の葉、床を這（は）い回るネズミなどなど。人間の目で見ればすぐに判断がつくものでも、防犯カメラにとってはすべて「深夜に動く何か」です。その一つひとつに「トラブル発生」と警告してしまうと、担当者はそのたびに確認作業をする必要があります。
しかしAIが「この部分を不審なものとして検知した」と示しながら警告を出してくれたなら、本当に問題が生じたときだけ駆けつけることが可能となります。
この他にもいろいろなパターンがありますが、まだ研究途上にあるのが説明可能なAIです。AIの種類によって、説明のアプローチを使い分けるということも必要かもしれません。
根拠を示すこと以外にもメリットがある
これまでは「人間に説明する」点に注目して解説してきました。しかし、そのメリットはそれだけではありません。例えば、AIによって自動運転する自動車が交通事故を起こしたとします。しかしその事故の発生原因を探る際、AIがブラックボックスのままでは途方に暮れてしまうに違いありません。
そういうときに備えるためにもAIの推論プロセスを明らかにする必要があるのです。つまり、説明可能なAIは、単にAIが人間に説明するということにとどまらず、安全な社会を作ることにも寄与できる重要な研究なのです。
「説明可能なAI」について学べる大学の学部、学科
AIについて学ぶ学部、学科（理学部や工学部など）であれば、説明可能なAIについても学ぶことになるでしょう。
実際に成果を上げている大学の研究も存在します。北海道大学は、富士通とともに「望む結果までの手順」を導ける説明可能なAIの開発に世界で初めて成功しました。これは推論プロセスや根拠を示すのに加えて、問題解決につながるような手順も提示してくれるAIです。例えば、人間の健康状態を分析するAIが、不健康な理由を説明するとともに、改善策を提示してくれるといったことをしてくれます。
・北海道大学 望む結果までの手順を導くことができる「説明可能な AI」を世界で初めて開発 人と協働する AI の信頼性と透明性の向上を実現
https://www.hokudai.ac.jp/news/pdf/210204_pr_re.pdf
愛知産業大学 スマートデザイン学科は、AI生成プラットフォーム「Thinkeye」を授業に活用しています。Thinkeyeは説明可能なAIをベースにしたもので、このシステムを使いながらAIについて学べます。
・愛知産業大学 スマートデザイン学科 学科の学生誰もが使えるAI生成プラットフォーム「Thinkeye」
https://www.asu.ac.jp/smartdesign/
東北大学大学院とストックマークは、2021年より、インターネット上の情報からビジネスに役立つ情報を獲得、利用するための説明可能なAIの研究を開始しています。
・ストックマークと東北大学大学院情報科学研究科乾研究室、知識グラフの獲得とそれを活用した説明可能なAI (XAI)の共同研究を開始
https://stockmark.co.jp/news/20211125
説明可能なAIに関する専門の研究拠点を持つところもあります。例えば、北陸先端科学技術大学院大学には「解釈可能AI研究センター」を持っています。ここでは、自分たちの研究の他に、海外の大学などともつながり、研究を高めていこうとしています。
・北陸先端科学技術大学院大学 エクセレントコア （国際的研究拠点）・リサーチコア・研究施設（センター）解釈可能AI研究センター
https://www.jaist.ac.jp/research/core-center/ai.html
医療、マーケティング、経営、人事、自動運転、防犯、金融、公共サービスなど
