脳卒中などの分野で今後注目？ヒトの脳活動データから思考を「文章化」する研究

読了時間：約 2分55秒

2023年05月18日　PM02:15

頭の中の思考を文章化する新たなデコーダーを開発

何らかの話を頭の中で想像したり聞いたりしている人の脳の機能的MRI（fMRI）のデータから、その人が考えている内容を文章に置き換えることができるデコーダーの開発に成功したことを、米テキサス大学オースティン校のJerry Tang氏らが報告した。研究グループは、このシステムが、脳卒中などで意識はあるものの話すための身体的な能力を失った人に有益な可能性があると見ている。研究の詳細は、「Nature Neuroscience」に5月1日掲載された。

画像提供HealthDay

Tang氏らが開発した新しいデコーダーは、脳に電極を埋め込む必要がない、非侵襲的なアプローチを採用している点で、これまでのシステムとは異なる。デコーダーの開発ではまず、3人の試験参加者に16時間にわたってさまざまな話を聞かせ、その間の脳のfMRIデータを取得。このデータを用いて、単語の連なりに対する脳の反応を予測するためのエンコーディングモデルのトレーニングを行った。次いで、このエンコーディングモデルが予測した脳の反応を基に、ニューラルネットワーク言語モデルと探索アルゴリズムを用いたデコーダーが、最適な単語の連なりを生成するようにした。

Tang氏らは、試験参加者に新しい話を聞かせて、このデコーダーの精度を調べた。その結果、デコーダーはfMRIで記録された試験参加者の脳活動から、新しい話の意味を捉えた単語の連なりを生成することができ、また、話に出てくるいくつかの単語やフレーズを正確に再現できることが示された。以下はその一例だ。

実際の話：「I got up from the air mattress and pressed my face against the glass of the bedroom window expecting to see eyes staring back at me but instead finding only darkness.（私はエアマットから起き上がり、寝室の窓ガラスに顔を押し当てた。そこに自分を見つめ返す目が見えるかと思ったが、暗闇があるだけだった。）」

次に、このデコーダーが、話されている言葉ではなく思考を捉えているのかを確認するため、試験参加者にサイレントムービーを見てもらい、fMRIで脳波を取得した。このfMRIデータをデコーダーに解読させた結果について、研究論文の上席著者である同大学のAlxander Huth氏は、「この映画に音声は一切出てこない。試験参加者は、これらの映画を見ている間、何かを行うよう指示されることはなかった。しかし、fMRIデータをデコーダーにかけると、映像の中で起きていることを説明するような文章が生成された」と説明している。さらに、試験参加者に、頭の中で何らかの話を想像してもらい、その間のfMRIデータをデコーダーにかけると、想像したその話の意味を予測できることも確認された。

Huth氏は、「今回の研究での出力フォーマットは言語であるが、われわれが得ようとしているのは、必ずしも言語そのものではない。このデコーダーは、言語よりももっと深いところにあるものを捉えて、それを言語に変換しているのだ。これは、非常に高いレベルで言語が果たしている役割だと言えるだろう」と話す。

ただし、このデコーダーにはまだ多くの不備があり、実用化に移せる段階にはない。例えば、デコーダーは代名詞が「ひどく苦手」であり、適切な単語やフレーズを正確に再現するためには、微調整やさらなるテストが必要だという。また、脳波を測定するために大型のMRI装置が必要な点も実用的とはいえないとTang氏らは指摘している。同氏らは目下、脳波計や機能的近赤外分光法のような、より安価で持ち運び可能な装置を使って、fMRIと同程度の脳活動を把握することができるかどうかを検討しているとのことだ。

さらに研究グループは、このデコーダーが想像以上にうまく機能したことに衝撃を受け、脳のプライバシーに関する懸念が生じたことを認めている。Tang氏は、「この技術はまだ発展途上だが、脳のデータに関して規制を設けることは非常に重要だと考えている。いつか本人の協力を得ることなく正確に頭の中の思考を解読できるようになったときには、その規制を新たな規制の基盤にすることができるだろう」と話している。（HealthDay News 2023年5月1日）

▼外部リンク
・Semantic reconstruction of continuous language from non-invasive brain recordings