研究評価に対する定量的指標の重視、研究者の認識は調査されていない

国立国際医療研究センター（NCGM）は5月9日、日本の医学研究者にアンケート調査を行い、研究評価に対してどのような認識を持っているか、そしてその認識が研究者の属性によってどのように異なるかを明らかにしたと発表した。この研究は、NCGM糖尿病情報センターの杉山雄大氏、昭和大学、筑波大学の研究者ら（第31回日本医学会総会学術委員会U40委員）の研究グループによるもの。研究成果は、「BMJ Open」に掲載されている。

画像はリリースより
（詳細は▼関連リンクからご確認ください）

研究を適切に評価することは、科学の進歩のために不可欠である。これまで日本の医学界においては、多くの場合、掲載雑誌のインパクトファクター、英文論文数や被引用数などの定量的指標が研究・研究者の評価に用いられ、資金配分や人事において重要視されてきたと考えられている。研究機関レベルにおいても、大学ランキングの上昇や、運営費交付金の配分などに動機付けられ、研究機関が指標の改善のために研究者に対して働きかけることがある。

一方で、定量的指標には多くの留意点、限界が内在していることが指摘されている。実際に、2012年の「研究評価に関するサンフランシスコ宣言（DORA）」、2015年の「研究計量に関するライデン声明」をはじめとする、定量的評価への偏重を諌める動きが出てきている。日本においても、2021年に「学術の振興に寄与する研究評価を目指して―望ましい研究評価に向けた課題と展望―」と題した提言が発出されており、日本医学会の「医学雑誌編集ガイドライン2022」でも、インパクトファクターの限界について言及があり、留意するよう促している。

このような声明や提言での推奨内容と、実際に日本の医学界で行われている研究評価のギャップが存在し、研究・研究者の適切な評価を妨げている可能性が考えられる。その際、研究者が研究評価をどのように認識しているかは、研究評価のあり方が研究者に与える影響を考える上で重要と考えられる。しかしながら、研究評価に対する研究者の認識についての調査はほとんどなされていなかった。

日本医学会の協力のもと、医学研究者を対象としたアンケート調査を実施

そこで研究グループは、日本の医学研究者の研究評価に関する認識を明らかにし、研究評価の課題を抽出することを目的として、医学研究者を対象としたアンケート調査を行った。今回の研究は、2023年4月に開催された第31回日本医学会総会に向けて各学会より推薦され委嘱された学術委員会U40委員の有志により、日本医学会総会、日本医学会、日本医学会連合の協力のもと行われた。

この研究ではまず、さまざまな分野の研究者を対象にフォーカスグループインタビューを行い、研究評価についての認識、質問票の草案について意見をもらった。この過程で質問票に改善を重ね、日本医学会・日本医学会連合の幹部からの意見を踏まえ、最終的な質問票を作成した。アンケート調査は2022年12月から1か月間行われた。日本医学会事務局から各分科会（学会）に発出された協力依頼のメールをもとに、各学会メーリングリストや学会ホームページを利用して各学会員である研究者に案内、個別にwebアンケートに回答してもらい、調査期間終了後、各回答の分析を行った。

39歳以下・基礎医学分野・男性研究者でインパクトファクター重視される傾向

3,169件の回答のうち、無効回答を除外した3,139件を解析対象とした。その結果、研究者を評価する定量的指標について、雑誌のインパクトファクターが重視されていた（特に重視：19.6％、重視：47.8％）。特に臨床医学・社会医学分野よりも基礎医学分野で、60歳以上の研究者よりも39歳以下の若い研究者で、女性よりも男性で顕著に見られた。英文誌に掲載された論文数（特に重視：33.3％、重視：51.8％）は、和文誌に掲載された論文数（特に重視：3.4％、重視：30.2％）よりも重視されていた。

定性的因子では「研究テーマの独創性」や「科学の発展への貢献」を重視する割合高い

研究者を評価する際の定性的因子については、解析の網羅性＝必要な解析が尽くされていること（特に重視：12.6％、重視：51.6％）よりも、研究テーマの独創性（特に重視：37.0％、重視：51.5％）や科学の発展への貢献（特に重視：37.4％、重視：47.4％）を重視すると答える割合の方が高値だった。研究テーマの独創性は、基礎医学の研究者のほうが臨床医学・社会医学の研究者よりも重視するという回答が多くあった（特に重視―基礎：46.2％、社会：39.1％、臨床：32.0％）。

定量的指標で「重要な研究でも評価されないことがある」は約9割が賛同

研究評価のための定量的指標と定性的因子に対する研究者の認識については、定量的指標による研究評価では「重要な研究でも評価されないことがある」の質問に賛同した回答者は88.8％だった。定量的指標の使用は、特に基礎医学の研究者において不正行為につながる可能性があると認識されていた。シニア研究者は若手研究者に比べ、定性的評価はアンコンシャス・バイアス（自分自身気づいていないものの見方や捉え方の歪みや偏り）の影響を受けにくいと考える傾向があった。「研究評価に関するサンフランシスコ宣言（DORA）を知っていますか」の質問に「内容を知っている」と回答した割合は10.1％に留まり、「名前は知っているが中身は知らない」が28.8％、「知らない」が61.1％だった。

医学研究評価のあり方、多様な背景を持つ人々が議論に参加することが重要

日本の医学研究者の多くが、研究者を評価する際の指標としてインパクトファクターや英文誌に掲載された論文数に基づく定量的指標が適切であると考える傾向にあることがわかった。インパクトファクターを研究評価の際に重視する傾向は、DORAの推奨から乖離しており、定量的指標の重視はライデン声明が懸念している状況である。DORAについて知らない研究者の割合も高く、DORAなどの提言について医学研究者の間で知識の普及を図り、研究評価のあり方について医学界全体として再検討を行うことが重要だと考えられた。

また、医学研究および研究者を評価する際の定量的指標および定性的因子に関する医学研究者の認識は、研究分野、年齢、性別といった特徴によって差があった。研究分野の違いによって、研究成果の普遍性や重視する価値観が異なり、研究分野を越えた普遍的な評価軸を確立することは容易ではない。評価のあり方について見直しを行う際には、医学系研究者と一口でいっても研究分野や年齢などによって評価に関する認識が異なることを踏まえ、評価軸自体も研究分野ごとに異なることを受け入れること、そして多様な背景を持つ人々が議論に参加することが重要であると考えられる。

この研究の限界として、自記式アンケートを用いたことが挙げられる。また、3,000を超える回答があったものの、医学研究者の総数から考えると回答者は一部に留まる。研究評価に興味がある人ほどアンケートに回答する傾向があったことで、回答者の属性や回答内容に偏りが生じた可能性がある。しかし、この研究は、日本全国の医学研究者が研究評価や研究者評価をどのように捉えているかを調べた初めての研究である。「研究グループは、今回の成果を踏まえ、研究評価のあり方について議論する機運が高まり、研究および研究者の評価方法を継続的に検討・改善する仕組み作り、ひいては各研究分野の発展につながることを期待している」と、研究グループは述べている。（QLifePro編集部）