AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator

Motivation

• Known: LLM들이 MedQA, PubMedQA 등 정적 의료 질문 답변 벤치마크에서 전문가 수준의 성능을 달성함
• Gap: 벤치마크 성능과 실제 임상 진단 적용 사이에 큰 괴리가 존재함. 현실의 진단은 환자가 불충분한 의료 지식으로 모호하게 증상을 표현하고, 의사가 다중 턴 대화를 통해 정보를 수집하는 역동적 과정임
• Why: 환자는 충분한 의료 지식이 부족하고 의료 개념 이해가 불명확하여 한 번의 상호작용으로 자신의 상태를 정확하게 전달하지 못함. 의사는 여러 차례의 복잡한 상호작용을 통해 정보를 수집하고 진단을 내림
• Approach: 다중 에이전트 프레임워크(환자, 검사관, 과장, 의사)로 실제 의료 상호작용을 시뮬레이션하고, 고품질 중국 의료 기록 기반 벤치마크(MVME)로 평가

Achievement

AI Hospital의 다중 에이전트 구조와 진단 과정의 흐름

1. AI Hospital 프레임워크 개발: 다중 에이전트(Patient, Examiner, Chief Physician, Doctor) 구조로 실제 의사-환자 상호작용을 시뮬레이션하며, Doctor 에이전트가 증상 수집 → 검사 추천 → 진단의 다중 턴 대화를 수행
2. MVME(Multi-View Medical Evaluation) 벤치마크 구축: 의료 전문가가 선별한 고품질 중국 의료 기록을 기반으로 증상 수집, 검사 추천, 진단 정확도 등 세 가지 차원의 성능 평가 지표 개발
3. 성능 격차 정량화: 다중 턴 상호작용 LLM의 성능이 모든 정보를 한 번에 받는 GPT-4 상한선(one-step approach)의 50% 미만에 그침을 실증적으로 입증
4. 분쟁 해결 협업 메커니즘: 복수의 의사 에이전트가 독립적으로 동일 사례에 대해 상호작용하고 Centre Agent가 의견 수렴을 가이드하는 협업 전략 제안으로 성능 향상 (단, 여전히 상한선 이하)

How

의료 기록 정보의 분류와 에이전트별 할당 구조

시스템 구성:

• Patient 에이전트 (GPT-3.5): 의료 기록의 주관적 정보(증상, 과거력, 습관)만 접근 가능. 협력성, 일상적 언어 사용, 호기심, 개성화된 배경 표현
• Examiner 에이전트 (GPT-3.5): 의료 기록의 객관적 정보(혈액검사, 영상검사 결과)만 접근 가능. 검사 요청에 대해 해당 결과 제공 또는 정상 판정
• Chief Physician 에이전트 (GPT-4): 전체 의료 기록(주관적, 객관적, 진단 정보) 접근. Doctor의 최종 진단 보고서를 의료 기록과 비교하여 평가
• Doctor 에이전트 (평가 대상 LLM): 어떤 정보도 초기에 미접근. Patient, Examiner와의 다중 턴 대화로 정보 수집

평가 방법론:

• 의료 기록을 주관적/객관적/진단 정보로 분류하여 각 에이전트에 할당
• Chief Physician이 증상 수집 정확도, 검사 추천 적절성, 진단 정확도, 진단 근거, 치료 계획을 평가 점수화
• 링크 기반 접근(link-based approach)으로 의료 표준 지식 통합한 엔티티 수준 평가 지표 생성

협업 메커니즘:

• 복수 Doctor 에이전트가 동일 의료 기록에 대해 독립적 상호작용 수행
• Centre Agent가 의견 불일치 해결 및 구조화된 합의 유도

Originality

• 역동적 의료 상호작용 시뮬레이션: 기존 정적 의료 QA 벤치마크와 달리, 다중 에이전트 프레임워크로 실제 진단 과정의 다중 턴 대화 동역학 재현
• 현실 기반 의료 기록 활용: 경험 많은 의료 전문가가 선별한 고품질 중국 의료 기록을 의료 정보 소스로 사용하여 높은 현실성 확보
• 다차원 성능 평가: 증상 수집, 검사 추천, 진단의 세 가지 차원과 진단 근거, 치료 계획까지 다각도 평가
• 협업 기반 성능 향상 메커니즘: 단일 의사 모델을 넘어 다중 의사의 협업과 분쟁 해결 전략으로 성능 개선 시도
• 성능 격차의 정량화: 현실적 다중 턴 상호작용과 이상적 일회성 접근 간의 정량적 비교로 현존 LLM의 한계를 명확히 드러냄

Limitation & Further Study

한계:

• 중국 의료 기록 기반으로 중국의료 시스템에 편향되어 있으며, 다언어 일반화 검증 부족
• 평가 기준이 Chief Physician LLM 평가에 의존하여, LLM 판단 오류가 평가 신뢰성에 영향을 미칠 수 있음
• 현재 LLM들이 다중 턴 상호작용에서 왜 성능 저하를 보이는지에 대한 깊이 있는 분석 부족
• 협업 메커니즘이 여전히 상한선에 미치지 못하며, 현실적 임상 적용을 위한 구체적 개선 방안 제시 미흡

후속 연구:

• 의료 특화 LLM 개발로 다중 턴 진단 상호작용 최적화
• 의료 전문가 지식을 명시적으로 통합하는 프롬프트 엔지니어링 또는 파인튜닝 전략 개발
• 다국가, 다언어, 다양한 임상 시나리오로 벤치마크 확장
• LLM의 임상 추론 과정을 해석하여 성능 격차의 근본 원인 규명
• 실제 의료 전문가와의 협업 시스템으로 발전 가능성 검토

Evaluation

총평: AI Hospital은 의료 AI의 현실적 성능 평가를 위해 다중 에이전트 시뮬레이션과 고품질 의료 기록을 결합한 의미 있는 프레임워크이며, 현존 LLM이 벤치마크와 실제 임상 상황 사이의 상당한 격차(50% 이하)를 갖고 있음을 정량적으로 입증하였으나, 중국 특화성과 한계 분석의 깊이 부족이 일반화 가능성을 제한한다.