仮想現実をAIで再現できるかなどを知るため、脳情報を解析

京都大学は4月20日、バーチャルリアリティ（VR）による部分観測迷路において、探索中に予想した周辺の風景（シーン予測）とその予測に対する自信の度合い（主観的確信度）が、脳活動から解読できることを明らかにしたと発表した。この研究は、同大大学院情報学研究科（兼、株式会社国際電気通信基礎技術研究所（ATR）脳情報解析研究所、東京大学国際高等研究所ニューロインテリジェンス国際研究機構）石井信教授、片山梨沙同博士課程学生、オックスフォード大学 Nuffield 医療神経科学部（兼、株式会社国際電気通信基礎技術研究所（ATR）認知機構研究所）吉田和子博士による国際共同研究グループによるもの。研究成果は、「Communications Biology」オンライン掲載されている。

画像はリリースより
（詳細は▼関連リンクからご確認ください）

ヒトは曖昧な状況でも、適切な意思決定を行うことができる。例えば、ターミナル駅など見た目が似通った構造が多く存在するような複雑な環境では、自分がどこにいるかがわからなくなり、その結果、目的地に向かってどう移動するかを決めるのが難しくなることがある。このような状況では、ヒトは周辺の風景（シーン）などを手掛かりとして現在の位置に当たりをつけ、それを踏まえて目的地まで移動しようとする。この時、移動しながらこの後で出現するシーンを予想し、その予想と新たに得られる観測とを比較することで、自分の位置の予想を正しいものへと更新していく。この際の「予想」は、これから得られるであろう観測に対するもので、脳の中に自身が創り出した「仮想現実」だ。また、直感的に自身にとって予想に自信があるか否かは、この仮想現実の表現に影響があると思われる。

研究グループは今回、こうした脳の中の仮想現実が、脳活動から人工知能（AI）により取り出せる（再現できる）か、また、ヒトが内省的に考える自信もAIにより取り出せるか、さらには、それらの再現性の間に関連があるのか、つまり、自信がある際に仮想現実がよく再現できるのかを明らかにするため、実験参加者が自身の位置が分からないまま未知のゴールを目指すバーチャルリアリティ（VR）迷路内で空間移動ゲームを行う際の脳活動を計測し、AI技術を用いた脳情報解読解析を行った。

予測に対する確信度が高いとき、より明瞭に予測シーンを思い浮かべられる可能性

実験参加者に、核磁気共鳴画像（fMRI）装置内で空間移動ゲームに取り組んでもらい、脳活動を計測した。ゲームは、格子状に部屋が並んだVR迷路内を探索しながら、移動する先の部屋のシーンを、ドアを開ける前に予測し、また、その予測に対する自信（確信度）を回答するというものだ。

事前に迷路の地図を記憶した実験参加者は、スタート位置や探索中の現在位置を教えてもらえないにも関わらず、自分の意思で探索を進めるにつれてシーン予測に正解できるようになり、予測に対する自信も高くなった。このことは、実験参加者がこれまでのシーンの観測を用いて迷路内での自身の位置を推定し、その位置推定と記憶した地図に基づいて、次に進む部屋のシーンの予測を行っていることを示している。また実験参加者は、予測に自信がある（確信度が高い）時に、自信がない（確信度が低い）時と比較して、より素早く予測シーンを回答していた。このことは、予測に対する確信度が高いとき、実験参加者がより明瞭に予測シーンを思い浮かべられることを示唆している。

予測に対する自信が強い場合、予測シーンを表現する脳活動がより明瞭に

実験参加者が次の部屋のシーンを予測している時に強い活動を示した脳領域を対象に、AI技術を用いて、実験参加者の脳活動から予測シーンと、その予測に対する確信度が解読できるかを調べた。その結果、予測シーンは上頭頂小葉・下頭頂小葉と背側運動前野から、予測に対する確信度はこれらの領域に加え、前部前頭前野からも解読できることが示された。また上頭頂小葉では、実験参加者のシーン予測に対する確信度が高い時、予測したシーンの解読精度も高くなることが明らかになった。このことは、予測に対する自信が強い場合、予測シーンを表現する脳活動がより明瞭になることを意味している。

さらに、実験参加者が直接回答していない、迷路内での位置の予想に対する確信度を AI 技術を用いて推定したところ、下頭頂小葉では、AI が推定した（客観的な）自信の強さによって予測シーンの解読精度に差があることがわかった。このことから、下頭頂小葉では、迷路内の位置の予測が、上頭頂小葉ではその位置予測から導かれるシーンの予測が表現されている可能性があると考えられる。

ヒトの予測やメタ認知の再現は、自己意識の根源を探る学際的な意義をもつ

今回の研究におけるシーン予測は部屋のドアの様子としていたが、さらに一般化して、ヒトがイメージする快適な部屋や昔住んでいた家や街の様子を脳活動に基づき再現するなど、ブレイン・マシン・インターフェースなど新しいコミュケーションツールの開発につながる可能性がある。こうした空間移動（ナビゲーション）に付随するシーンの脳活動からの再現は、ヒトを身体の拘束から解き放つメタバース研究の課題の一つとなっている。

また、われわれの空間移動に伴うシーンの予測は、ドローンや車両などの移動人工物に対して、脳とAIとをつないだ制御法など新しい応用につながる。例えば、移動人工物が交差点を曲がる際に、交差点の先の状態に関するヒトの予測レベルの評価ができれば、ヒトと AI との協調的制御が車の運転などに使える可能性がある。この例の場合では、交差点の先のシーン予測の確信度が低い場合、AI への依存度を高め、慎重に制御を行うなどが想定される。

「ヒトの予測という心的世界の再現、また、それへの内省的評価（メタ認知）の再現は、自己意識の根源を探る意味で、学際的な意義があると思われる」と、研究グループは述べている。（QLifePro編集部）