既存の意思決定理論では、好奇心との葛藤が時間で変化する「動物行動」の解読は不可

広島大学は5月26日、行動データから心理状態の時間変化を読み解く手法「逆自由エネルギー原理法」を開発し、動物の行動データから報酬と好奇心との葛藤を解読することに成功したと発表した。この研究は、同大大学院統合生命科学研究科データ駆動生物学研究室 本田直樹教授（兼任：京都大学生命科学研究科特命教授、生命創成探究センター客員教授）と同・統合生命科学研究科博士課程後期学生 古仲裕貴氏の研究グループによるもの。研究成果は、「Nature Computational Science」に掲載されている。

画像はリリースより
（詳細は▼関連リンクからご確認ください）

「感情や心の葛藤はどのように生まれ、制御されているのか」という問いは、古代ギリシャから続く哲学および心理学における主題の一つとなっている。これに答えるには、心理状態の時間変化と脳活動を比較する必要がある。しかし、心理状態の定量化は困難であるため、自然科学全般の基礎となっている「計測データに基づく仮説検証」はほとんど行われていなかった。

葛藤が起こるのは、複数の欲求を同時に叶えることが難しいため、どのように意思決定すれば良いのか悩んでしまうからだ。例えば、外食する際にも、お気に入りのレストランに行くべきか、新しいレストランを試すべきかと悩んだりする。これは報酬（美味しい料理）と好奇心（未知レストラン）との葛藤だ。このような葛藤がアンバランスになると、意思決定が非合理的になる。好奇心が全くないと、既知の報酬に固執して、未知のより高い報酬を見逃してしまうかもしれない。反対に、好奇心が過度に高いと、常に新しいことを追い求めるため既知の報酬を逃してしまう。したがって、心の葛藤を理解するためには非合理的な意思決定を記述する新しい理論が必要だった。

これまで意思決定理論として、強化学習や自由エネルギー原理が提唱され、脳科学を主導する理論としての役目を果たしてきた。強化学習は、得られる報酬量を最大化する行動をモデル化している。一方、自由エネルギー原理は、観測から外界に対する認識をよりアップデートする行動、つまり、観測から得られる情報量を最大化する行動をモデル化している。しかし、これら2つの意思決定モデルは、報酬や情報を最大化するという合理性・最適性に基づいており、合理性から外れた心の揺れや葛藤を表現することはできなかった。つまり、報酬と好奇心との葛藤が時間とともに変化すると考えられる実際の動物行動を扱うことができなかった。

スロットマシン課題で、報酬への欲求と報酬確率を知りたい好奇心との葛藤の行動データを取得

研究グループはまず、報酬と好奇心との葛藤が生じる行動として、スロットマシン課題に注目。同課題では、動物は目の前にある2つのスロットマシンのうちの1つを選び、その結果として確率的に報酬が得られる。また、動物は各スロットマシンの報酬確率を知らず、また報酬確率自体も時間的に変化する。

この課題において、1つのスロットマシンを繰り返し選択すると、そのスロットマシンの報酬確率を正しく認識することができるようになる。しかし、もう片方のスロットマシンは選ばれていないため、その報酬確率の認識はどんどん曖昧になってしまう。そのため、あまり選ばれなかったスロットマシンに対して好奇心が湧き、報酬確率を知りたくなることが予想される。つまり、このスロットマシン課題を用いることで、「報酬に対する欲求」と「環境（報酬確率）を知りたいという好奇心」との葛藤を伴う行動データを取得することができる。

心の揺れ・葛藤を伴う意思決定モデルを構築、好奇心による非合理的な行動を証明

さらに研究グループは、自由エネルギー原理を拡張することで、心の揺れ・葛藤を伴う意思決定のモデルとして「Reward-Curiosity（ReCU）モデル」を構築した。ReCU モデルでは、それぞれのスロットマシンを選んだときに得られる「報酬」と「情報量」の期待値を見積もり、それらの重み付け和によって、どちらを選択すべきか決断する。報酬と好奇心との葛藤を記述するため、情報量に対する重みを「好奇心を調整するメタパラメータ」として導入したことが本モデルの特徴となっている。

このモデルによって、動物が認識している報酬確率やその確信度（＝自信）に基づいて、意思決定する様子をシミュレーションすることが可能になった。さらに、報酬や好奇心の度合いに応じて「報酬が大きいとき：報酬に対する貪欲な行動」「好奇心が正に大きいとき：不確実性を好む探索的な行動」「好奇心が負に大きいとき：不確実性を嫌う保守的な行動」という3つの異なる行動様式が表現された。これらの結果から、好奇心はヒトや動物の意思決定に大きな影響を及ぼし、しばしば非合理的な行動を引き起こすことが示された。

行動データから心の揺れ・葛藤を読み解く「逆自由エネルギー原理法」を開発

次に、ReCU モデルに基づいて、行動データから心理状態の時間変化を読み解く「逆自由エネルギー原理法」を開発した。同手法では、目に見えない心理状態の時間変化をベイズ推定により読み解くため、粒子スムーザーと呼ばれる機械学習を用いている。

同手法をラットのスロットマシン課題の行動データに適用したところ、ラットは真の報酬確率を完全に認識しているわけではないものの、報酬確率の増減は認識していることが明らかになった。また、認識に対する自信は選択すればするほど増加し、逆に選択しないと減少することがわかった。

ラットの行動データから、好奇心が状況依存的に制御されていることを発見

さらに、ラットの好奇心の値はほとんどの試行で「負」であると推定された。つまり、実験で用いたラットは報酬確率の認識があいまいなスロットマシンを避け、認識が明確なスロットマシンを好んで選択する、保守的な性格を有するということが判明した。この保守的な行動は、動物が報酬を安定して得ようとするためのものと解釈することができる。

また、報酬確率の変化に伴って、好奇心は上昇することが明らかになった。この結果は「動物は環境の変化を素早く認識し、好奇心を適応的に制御している」と解釈することができるという。さらには、推定した好奇心と認識とを比較したところ、ラットは報酬確率の認識が曖昧になると、好奇心のレベルを積極的に上昇させることがわかった。このように、動物が現在の認識と不確実性の度合いに応じて、好奇心を適応的に制御していることを定量的に示した報告は、これまでに例がなく、重要な成果と言える。

心の揺れ・葛藤の神経基盤の解明、精神疾患診断への応用に期待

「心の葛藤を制御する神経メカニズムは何なのか」という問いは、単に神経活動と動物の行動との比較では解決できない。葛藤を生み出す心理状態は行動の背後に存在する目に見えないものであり、決して行動そのものではないからだ。したがって、心理状態を定義し、動物の行動から潜在的な心理状態を推定した上で、推定された心理状態と神経活動を比較できるようにすることが重要だ。今回の研究で開発された逆自由エネルギー原理法を用いることで、今まで定量的に扱うことが困難だった潜在的な心理状態を、行動データから解読することが可能となった。これは、心の葛藤を制御する神経メカニズムの解明にとって大きな一歩と言える。

また、逆自由エネルギー原理法は精神医学での応用も期待される。精神疾患の診断は医師による問診に頼っており、定量的な評価が十分になされていないのが現状だ。逆自由エネルギー原理法を用いることで、患者の行動データから心理状態を定量的に推定できる可能性がある。「過度な好奇心の増減はADHD（注意欠陥多動性障害）や自閉症とも関連すると考えられるため、精神疾患の診断への応用も期待される」と、研究グループは述べている。（QLifePro編集部）