京大病院とフィッティングクラウドの共同研究、AIの下書きを医師が直すと品質評価は多くの観点で手作業を上回る。作成時間は有意差なし

京都大学医学部附属病院との共同研究で行われた、医療文書向け生成AI「CocktailAI」の比較試験の論文が10月26日付で学術誌PLOS Digital Healthに掲載され、フィッティングクラウドが27日に発表した。医師がAIの下書きを確認・修正すると、多くの観点で一から書くより品質の評価が高かった一方、主要解析では作成時間に有意差は出なかった。

試験は2025年2月18日から3月14日に京大病院の眼科で行い、医師21人を無作為に2群に分け、17人が終えた。模擬カルテ6症例で退院サマリーと紹介状を作り、AIの下書きを医師が直す群と、同じ構成のテンプレートで医師が一から書く群を比べ、手直し前の下書きもAIだけの群として分析した。CocktailAIは電子カルテから情報を抜き出してテンプレートに当てはめ、下書きを作る。

品質は、どの群かを伏せた眼科医5人が症例を分担し、医学的な正確さやカルテと食い違う記述の有無など6つの観点で評価した。手直しした群は、ほぼすべての観点で一から書いた群より平均点が高く、0〜10点の総合評価の平均は退院サマリーで7.8、紹介状で8.0と3群で最も高かった。ただし総合評価の差が主要解析で有意だったのは紹介状だけだった。AIだけの群は作成が最も速かったが、品質はほとんどの観点で最も低かった。

作成時間は、手直しした群が一から書いた群より退院サマリーで59.4秒短く、紹介状で52.9秒長いと推定されたが、主要解析ではどちらも有意でなかった。医師ごとの差を考慮しない感度分析では、短縮と延長のどちらも有意だった。

論文は、単一の施設と診療科で、少数の模擬症例と日本語の記録を使った試行的な試験だとして、結果を仮説の段階と位置づける。複数の施設・診療科・言語で、実際の患者データを使う大きな試験が要るとした。AIを文書作成に取り入れるときは医師の主体的な監督が重要だと結論づけた。フィッティングクラウドの代表らも論文の共著者だ。論文によると同社はGeminiの利用料を負担したが組織として試験の設計や実施に関与していない。発表は評価用システムの構築を担ったとする。

【プレスリリース】フィッティングクラウド「生成AIを活用した医療文書向け文章生成ソリューション「CocktailAI」の有用性評価論文が、国際学術誌「PLOS Digital Health」に掲載されました」
【参照サイト】PLOS Digital Health「Evaluating an LLM-assisted workflow for clinical documentation: A pilot randomized controlled trial on time and quality」