マイクロソフト、診断AIの論文がScienceに掲載。ベンチマークの複雑な症例で正答率83.2%、一般医を上回る

マイクロソフトは10月22日、AIの診断システム「MAI-DxO」と、段階を追って診断を進める力を測るベンチマーク「SDBench」について、これまでの研究を発展させた論文が学術誌Scienceに載ったと発表した。条件を整えたベンチマークでの評価で、MAI-DxOの正答率は医学誌NEJMの症例検討から取った複雑な症例で83.2%、米国の救急外来の入院例で80.3%となり、一般医の36.1%、46.8%をそれぞれ上回った。

論文の著者15人はいずれもマイクロソフトの社員で、同社の株式を持つ。同社によると、医師免許試験のような試験は情報を最初にすべて示すのに対し、実際の診療では医師が質問や検査を自ら選び、新しい所見のたびに見立てを組み直す。SDBenchはNEJMの症例304件と比較的よくある救急外来の入院例325件を、限られた情報から始めて次に求める情報を選ぶ対話形式の課題にし、正答率に加えて求めた情報と推定の検査費用を測る。

MAI-DxOは仮想の医師団のように動き、それぞれが病名の候補を出し、役立つ質問や検査を選び、浮かんだ見立てに異を唱える。この議論を数回重ね、検査ごとに見込まれる価値と費用を比べながら評価を更新する。NEJMの症例での一般医の試験は開発に使わなかった56件が対象で、36.1%は教科書やインターネットを使ったときの値、外部の資料を参照しないと22.3%だった。費用をより重視した設定のMAI-DxOは、NEJMの症例で正答率81%、費用は比較したシステムの半分に満たなかったという。

論文は、比較は条件を整えたベンチマークで文字だけの情報をもとに個々の一般医と行ったもので、専門医や複数の診療科のチーム、実際の診療より優れることは示さないと断っている。同社も、本当に問われるのは実際の診療の場での性能だとして、ベス・イスラエル・ディーコネス医療センターと提携した。計画する前向き研究では、患者が直接システムを使い、その性能を医師が独自に下した評価と比べる。NEJMの一部の症例についてはSDBenchを公開し、ほかの研究者が評価を再現できるようにする。

【プレスリリース】マイクロソフト「Building Medical Superintelligence」
【参照サイト】Science「Sequential diagnosis with language models」

画像：Editorial credit: gguy / Shutterstock.com