ChatGPTの基盤であるTransformer技術は予後予測モデルに応用可能か

東京大学医学部附属病院は9月14日、ラジオ波焼灼術（RFA：Radiofrequency ablation）による根治術後の肝がんの予後予測モデルを、Transformerモデルを用いて開発し、Transformerによる予測モデルが従来の深層学習をベースにしたモデルよりも高い精度を示すことを世界で初めて示したと発表した。この研究は、同病院検査部の佐藤雅哉講師（消化器内科医）、消化器内科の中塚拓馬助教、建石良介准教授、小池和彦名誉教授、藤城光弘教授らの研究グループによるもの。研究成果は、「Hepatology International」に掲載されている。

画像はリリースより
（詳細は▼関連リンクからご確認ください）

RFA は、肝がんに対する有用な根治術として、広く医療現場で採用されている。しかし、肝がんは再発の発生率が高く、予後の悪い肝がんも存在するため、治療の課題は依然として残っている。RFA治療後の肝がんの予後を正確に知ることは、肝がん患者に対する個別のインフォームド・コンセントの実施や、患者にとって最適な治療計画の決定において重要だ。

近年、ChatGPTをはじめとするさまざまな大規模言語モデルが公開され、世界中でその性能と革新性が大きな注目を集めている。ChatGPTなど近年の高性能なチャットAIの開発を可能にしたのは、2017年にGoogle Brainの研究チームによって開発されたTransformerという技術である。Transformerは、自然言語処理の多岐にわたるタスクにおいて最高精度を達成し、同分野の標準的なモデルの地位を確立した。さらにコンピュータービジョン（CV）の領域においても、Transformerを基礎としたVision Transformerが、多くのタスクで従来の深層学習モデルである畳み込みニューラルネットワークを凌駕することが報告されている。

さまざまなタスクで高い精度を示すTransformerモデルを用いることで、RFA後の肝がん患者の予後をより正確に評価できる可能性があると考えられたが、これまでにTransformerモデルを用いて肝がんの予後の推定を行った報告はなかった。

初回RFAを受けた1,778人の16変数データを用いてTransformer機械学習モデルを開発

1999年2月～2019年12月までに同病院消化器内科で肝細胞がんの初回RFA治療を受けた1,778人の患者を対象に研究は実施された。対象患者を、機械学習モデルの訓練を行うための訓練データ（1,422人）、最適な学習パラメーターを抽出するための検証データ（178人）、作成された機械学習モデルの精度を検証するためのテストデータ（178人）の3つに分割し、検討した。

機械学習モデルを作成するために、RFA治療時点における16個の変数を抽出した。具体的には、患者背景情報（年齢・性別）、肝臓の線維化マーカー（血小板）、炎症マーカー（AST、ALT）、腫瘍マーカー（AFP・AFP-L3分画・PIVKA-2）、肝機能指標（総ビリルビン、アルブミン、プロトロンビン）、肝炎ウィルス（HBs抗原・HCV抗体）、肝がんの個数、最大腫瘍径、飲酒歴の有無が含まれる。

訓練データと検証データを合わせた計1,600人の患者データを用いて、治療後の経過を推定するための機械学習モデルを、Transformerと従来の深層学習の2種類のアルゴリズムを用いて作成し、独立したテストデータ178人の患者情報を用いてモデル精度の評価を行った。

従来の深層学習ベースよりも高精度に予測、患者個別の予後予測も可能

テストデータを使用した精度評価において、Transformerモデルを生存解析に拡張させたSurvTraceと従来の深層学習モデルをベースにしたDeepSurvのc-indexは、それぞれ0.69と0.60であり、Transformerを基にした機械学習モデルがより高い精度を示した。また、Transformerモデルでは、外部テストデータを2群または3群の異なるリスクグループに分ける高い識別能が示された。さらに、Transformerモデルを用いることで、治療後経過の予測の出力を個々の患者に対して行うことができた。

Transformer予測モデル、他の医療分野への応用に期待

2017年の登場以降、自然言語処理やCVなど多岐にわたる分野に適用されてきたTransformer技術を、生存解析へと新たに拡張したSurvTraceにより、従来の深層学習モデルを上回る性能が肝がん治療後のリスク推定において確認された。 このTransformerを基盤とした新たなAIモデルは、肝がん患者に対するインフォームド・コンセントを含む診療の個別化にもつながる可能性がある。 「Transformerモデルを用いた生存や疾患発症などの予測は、肝がんだけではなく、医療の他の多岐にわたる分野においても応用が可能で、今後の他分野への展開も期待される」と、研究グループは述べている。（QLifePro編集部）