ChatGPT、乳がん予防・スクリーニングに関する25の質問にどう答えた？ー米研究

読了時間：約 2分50秒

2023年04月20日　PM03:00

乳がんに関わる質問にChatGPTは正確にアドバイスできるのか

話題の対話型人工知能（AI）サービス「チャットGPT（ChatGPT）」は、乳がんに関わる質問の多くに信頼性のある回答を示せるが、まだ医師の代わりになる段階には至っていないことが、新たな研究で示された。米メリーランド大学放射線診断学・核医学助教のPaul Yi氏らが実施した研究で、詳細は「Radiology」に4月4日掲載された。

画像提供HealthDay

Yi氏らは、ChatGPTの最大の弱点として、ChatGPTから得られる情報が必ずしも信頼できるものではないこと、あるいはごく限られた部分の情報であることを挙げている。また、それを理由に、少なくとも現時点では、健康・医療に関する質問は人間の医師に対してすべきだとの見解を示している。

ChatGPTはAI技術を用いたチャットボット（自動会話プログラム）で、人間同士の会話のように、どんな質問を投げかけてもすぐさま回答が生成される。こうした回答は、ChatGPTが事前学習した膨大な量のデータに基づくもので、学習データには、インターネットで収集された情報も含まれる。UBSインベストメント・バンクによると、ChatGPTの月間ユーザー数は、2022年11月の公開からわずか2カ月で1億人に達したという。また、ChatGPTがSAT（米国の大学適性試験）で高得点を獲得したことや、米国の医師国家試験で合格ラインを超えたことも大きく報道された。

今回の研究では、乳がんの予防やスクリーニングに関するよくある25個の質問をChatGPTに問いかけた。質問はそれぞれ3回ずつ行い、それに対する回答の違いがどのようなものかを調べた。その結果、25個中22個（88％）の質問に対しては、ChatGPTから適切な回答が示されたが、残る3個の質問に対する回答は信頼性の低いものだった。例えば、「新型コロナウイルス感染症（COVID-19）のワクチン接種の前後にマンモグラフィ検診を予定しておくべきか」という質問に対して、ChatGPTは最新の情報ではなく古い情報に基づく回答を示した。その他の2個の質問では、同じ質問に対する3回の回答内容が一貫していなかった。

ChatGPTがGoogle検索あるいは実際の医師と比べて優れているのかどうかについては不明だが、Yi氏はその精度について「とても素晴らしい」と評価する。その一方で同氏は、健康・医学に関する話題では、「たとえ10％の誤答率でも害をもたらす可能性はある」と指摘し、「ChatGPTには限界がある」との見方を示している。また、さまざまなデータを即座に組み合わせてチャットに落とし込む機能は、ChatGPTの魅力の一つであるが、質問が複雑だと、限定的な範囲の情報に基づく、偏った内容の回答になり得るというマイナス面にも言及している。例えば今回の研究でも、乳がんスクリーニングについて質問した際のChatGPTの回答は、米国がん協会（ACS）の推奨のみに基づいており、異なる推奨を示した団体を含めてACS以外の医学関連の団体や学会の情報は含まれていなかった。

さらにYi氏は、ChatGPTの一般的なユーザーは、補足の質問をするための知識を持ち合わせていなかったり、回答が正確かどうかをチェックする方法が分からなかったりする可能性があると指摘。従来のインターネット検索と比べて会話形式でやり取りできる点はChatGPTのメリットで、会話風であるがためにかなり「説得力がある」が、他のあらゆる新しい技術と同様、「全てを信用すべきではない」と主張している。

この研究には関与していない米テンプル大学フォックスビジネススクールのSubodha Kumar氏は、今後もChatGPTはより多くのデータを収集し続けるが、そうしたデータにはユーザーが提供するものも含まれることになるため、「ChatGPTが示す回答の精度は向上するどころか悪化する可能性もある」と指摘している。その上で、「質問のテーマが健康・医療に関わる事柄である場合には危険性もある」と懸念を示し、「一般的な消費者には、健康・医療に関わる情報を収集する目的でのChatGPTの使用は勧められない」と話している。（HealthDay News 2023年4月10日）

▼外部リンク
・Appropriateness of Breast Cancer Prevention and Screening Recommendations Provided by ChatGPT