Ms2: Multi-document summarization of medical studies

Motivation

• Known: 기존 다중문서 요약(MDS) 데이터셋은 WikiSum, Multi-News 등 일반 도메인 데이터이거나 DUC/TAC 2011 같이 규모가 매우 작음. 의료 분야의 문헌 검토 작성에는 평균 1-2년이 소요되며, 개별 논문과 검토 간 평균 8년의 시간 격차 발생.
• Gap: 의약 도메인에 특화된 대규모 다중문서 요약 데이터셋이 없음. 특히 모순되는 증거를 집계하고 평가하는 능력이 필요하나 이를 지원하는 자원이 부재.
• Why: 매일 120개 이상의 무작위 대조 시험(RCT)이 발표되는 상황에서 문헌 검토 프로세스의 자동화는 시간과 비용 절감의 관점에서 필수적.
• Approach: 체계적 문헌 검토(systematic reviews)로부터 자동으로 생성된 다중문서 요약 데이터셋을 구축하고, 자유 텍스트 형식과 구조화된 형식(PICO 요소 및 증거 추론)을 모두 제공하며 BART 기반 요약 시스템을 개발.

Achievement

문헌 검토와 인용된 개별 논문 출판 연도의 분포에서 약 8년의 시간 격차가 명확히 드러남

1. 데이터셋 구축: 체계적 문헌 검토 자동 식별 파이프라인(키워드 필터 → PubMed 필터 → 문서 유형 필터 → 적합성 분류기)을 통해 20K개 검토와 470K개 개별 논문으로 구성된 대규모 데이터셋 구축. 테스트셋의 모든 TARGET 문장 2K개 검토(4,519문)에 대해 수동 검증 수행.
2. 다중 형식 지원: 자유 텍스트 형식(texts-to-text seq2seq)과 구조화된 형식(table-to-table)을 모두 제공하여 유연한 접근 가능. PICO 요소 태깅과 증거 추론(Evidence Inference) 클래스 라벨 자동 생성으로 구조적 일관성 평가 가능.
3. 기준 모델 개발: BART 기반 seq2seq 모델로 유창한 요약을 생성하되, 생성된 요약이 금표준(gold summary)의 증거 방향과 약 50% 일치하는 수준 달성.

How

• 문헌 검토 식별: Semantic Scholar 코퍼스에서 "systematic review" 키워드로 220K 후보 추출 → PubMed 인덱싱 필터로 170K로 축소 → 인용 관계와 MeSH 주제명 활용 → SciBERT 기반 적합성 분류기로 최종 20K 선정
• 요약 대상 추출: 문헌 검토 초록의 문장을 순차 분류(sequential sentence classification) 작업으로 BACKGROUND(연구 질문), TARGET(종합 결과), OTHER(방법/상세 결과/권장사항)로 분류. 생의학 배경을 가진 5명의 주석자가 3,000문장 레이블링(Cohen's κ=0.912), SciBERT 모델 훈련(TARGET F1 77.4%, BACKGROUND F1 94.1%)
• 구조화 정보 추가:
  • PICO 요소: EBM-NLP 코퍼스로 훈련한 토큰 분류 모델(token classification)로 인구(Population), 중재(Intervention), 결과(Outcome) 스팬 식별 및 특수 토큰으로 표시
  • 증거 방향: 각 중재-결과 쌍에 대한 효과 방향(increases/decreases/no_change) 분류
• 데이터셋 분할: 주제별 클러스터링을 통해 주제 기반 문헌 검토 구성 후 훈련/개발/테스트 셋 분리

Originality

• 의료/생의학 도메인 최초의 대규모 공개 다중문서 요약 데이터셋 제공으로 도메인 특화 NLP 연구 가능성 개척
• 자유 텍스트와 구조화된 형식을 동시에 제공하여 생의학 지식 표현의 자연성과 구조성을 모두 활용 가능
• 체계적 문헌 검토라는 실제 임상 의사결정 프로세스로부터 유도된 데이터로 실질적 응용 가치 보유
• 모순되는 증거 집계라는 근본적 도전을 다루는 첫 대규모 데이터셋 (기존 MDS 데이터셋은 이를 다루지 않음)
• PICO 요소 및 증거 추론 클래스를 통합하여 이전 Evidence Inference 연구를 자연스럽게 확장

Limitation & Further Study

• 모델 성능 한계: BART 기반 기준 모델의 증거 방향 일치도가 약 50%로 높지 않으며, 저자들도 "높은 요약 품질 달성까지 상당한 추가 작업 필요" 명시
• TARGET 문장 분류 오류: 자동 분류기의 TARGET F1이 77.4%로 상대적으로 낮아 은닉 신호(silver labels) 품질 저하. 테스트셋만 수동 검증하여 훈련셋의 노이즈 존재
• 도메인 편향 가능성: PubMed 인덱싱으로 제한되어 특정 의료 분야에 치우칠 가능성
• 평가 메트릭 제약: 생성 요약 평가를 위해 기존 메트릭(ROUGE 등)을 수정했지만, 의약 도메인 특화 자동 평가 메트릭의 신뢰도 여전히 미흡
• 후속 연구 방향:
  • 대규모 사전학습 모델(GPT-3 등) 또는 멀티태스크 학습으로 요약 품질 향상
  • 모순되는 증거 명시적 모델링 및 신뢰도 계산
  • 구조화 요약 생성(structured summary generation) 능력 강화
  • PICO 요소 기반 조건부 요약 생성
  • 실제 임상 의사결정 시스템에의 통합 평가

Evaluation

총평: MS²는 의료 도메인에 다중문서 요약이라는 새로운 NLP 과제를 제시하고 대규모 공개 데이터셋을 제공함으로써 학계의 기여도가 크나, 현재 기준 모델의 성능(증거 방향 일치도 50%)이 실무 적용에는 미흡하며 구조화 정보의 활용 방안이 더욱 발전할 필요가 있다.