６月２９日、医学部医学科6年　高木創志さんが筆頭著者の研究論文“Performance of GPT-3.5 and GPT-4 on the Japanese Medical Licensing Examination: Comparison Study“が、JMIR Medical Educationに掲載されました。
　高木さんの研究は、第117回日本医師国家試験問題を分析用素材として使用し、GPT-3.5とGPT-4をベースとしたChatGPTの性能を比較することにより、後継バージョンで自然言語処理能力が進歩していることを明らかにしました。
　全400問中254問を分析対象としたところ、GPT-4はGPT-3.5の正答率を29.1%上回り、GPT-3.5では及ばなかった医師国家試験について、GPT-4では合格のラインに達しました。また、国家医師試験の設問を「易しい」、「普通」、「難しい」と難易度別に振り分け、正答率を確認したところ、すべての難易度においてCPT-4はGPT-3.5を上回り、さらに、難易度の高い設問では、GPT-4は受験者の正答率より優れた結果を出しました。
　このことから、GPT-4は英語以外の言語の性能に加え、医療などの専門分野におけるパフォーマンスが向上したことが明らかになり、将来的に医学教育や医療行為のサポートをすることができるツールとなる可能性を秘めていることを示しました。
　高木さんは、「初めて論文を書くにあたり、日々情報が更新される中で、何が誤りで何が正しい情報なのか取捨選択することが難しかったのですが、和足先生にご指導いただき、最後まで書ききることができました」と執筆時のことを振り返り、「ChatGPTが医師国家試験に合格したからといって、医師国家試験に合格した医師よりも知識・判別力において優れているとは安易には言えません。しかし、今回の研究により、多くの人に開かれた技術であるChatGPTが、医学の分野で一定の成果が出るということが明らかになったという事実は、自然言語処理の現状の課題や将来の用途の可能性をより深めていくことができるのではないかと思っています」と語りました。

“Performance of GPT-3.5 and GPT-4 on the Japanese Medical Licensing Examination: Comparison Study“
https://pubmed.ncbi.nlm.nih.gov/37384388/

医学科６年　高木　創志さん