연세대 용인세브란스병원, AI 임상 판단 정확도 의대생 연구 입증

AI 모델 임상 판단, AI 모델(o1) 94.3% vs 의료진 85.0% 비교 분석

연세대학교 용인세브란스병원 연구팀

연세대학교 용인세브란스병원(병원장 김은경) 심장내과 배성아·정신건강의학과 박진영 교수와 연세의대 본과 4학년 정재원·김현재 학생 연구팀은 오픈 AI 멀티모달 및 추론 AI 모델(GPT-4o, o1)의 임상 판단 정확도를 의료진 응답과 비교 분석한 연구 결과를 발표했다.

이번 연구는 교수의 지도 아래 의대 본과생들이 연구 설계부터 데이터 분석, 논문 작성까지 전 과정을 주도했다는 점에서 의학교육과 AI 의료 연구 측면에서 의미 있는 성과로 평가된다.

연구팀은 2011년부터 2024년까지 의료 교육 플랫폼 '메드스케이프(Medscape)'에 공개된 1,426건의 임상 증례를 분석했다.

특히 환자의 상세한 병력, 신체 검사 소견, 혈액 검사 결과는 물론 X-ray(엑스레이), CT, MRI, 초음파, 심전도, 병리 슬라이드 등 총 917건의 의료 영상이 포함돼 실제 임상에서 접하는 복잡한 진단 상황을 반영했다.

분석 결과, 다수의 의료진이 선택한 답안의 정확도는 85.0% 였고, GPT-4o는 88.4%, 최신 추론 모델인 o1은 94.3%의 정확도를 기록했다.

o1 모델은 진단(92.6%), 질병 특성 파악(97.0%), 검사 계획(92.6%), 치료 방향 설정(94.8%) 등 모든 임상 판단 영역에서 90% 이상의 정확도를 유지했다.

연구팀은 동일한 증례를 5회 반복 분석해 AI 모델의 판단 일관성도 검증했다. GPT-4o는 86.2%의 증례에서, o1은 90.7%의 증례에서 5번 모두 정확한 답을 제시했다.

이는 AI 모델이 단순한 우연이나 무작위 선택이 아닌 체계적인 추론을 바탕으로 답을 도출하고 있다는 것을 보여주는 결과다.

연구를 주도한 학생들은 "1년 이상 데이터를 수집하고 분석하며 통계를 배우는 과정이 쉽지 않았지만, AI가 실제 임상에서 어떻게 활용될 수 있을지 직접 확인한 것이 가장 큰 보람이였다"라고 말했다.

이번 연구는 보건복지부와 한국보건산업진흥원의 '가상환자·가상병원 기반 의료기술 개발 사업(연구책임자 박진영)'의 지원을 받아 수행됐다.

한편 연구 데이터와 분석 코드는 오픈소스 플랫폼 깃허브(GitHub)를 통해 공개해 전 세계 연구자가 활용할 수 있도록 했고, 연구 결과는 국제학술지 'Medicine (Baltimore)' 2026년 1월 호에 게재됐다. 용인=이인국 기자 kuk15@