A Survey on Uncertainty Quantification Methods for Deep Learning

Motivation

• Known:
  • 딥러닝은 컴퓨터 비전, 자연언어처리, 과학공학 분야에서 큰 성공을 거둠
  • 기존 설문들이 신경망 아키텍처(베이지안 신경망, 앙상블, 단일 모델) 또는 베이지안 관점에서만 UQ 방법을 분류
  • 자율주행, 의료진단, 재난대응 같은 고위험 응용에서 과신(overconfidence)으로 인한 심각한 오류 발생 가능
• Gap:
  • 기존 설문들이 각 UQ 방법이 다루는 불확실성 원천(데이터 불확실성, 모델 불확실성 등)을 간과
  • 실제 응용에서 적절한 UQ 방법을 선택하기 어려움
  • 불확실성 원천 관점의 체계적 분류 부재
• Why:
  • 딥러닝 모델이 자신이 모르는 것을 인지해야 고위험 응용에서 신뢰할 수 있음
  • 응용 환경에 따라 지배적인 불확실성 유형이 다르므로 원천 기반 분류가 실용적
• Approach:
  • 불확실성 원천 관점에서 UQ 방법의 새로운 분류체계 제시
  • 각 범주의 장단점 비교 분석
  • 활성학습, OOD 강건성, 심화강화학습 등 주요 응용과의 연결
  • 대규모언어모델(LLM), 과학시뮬레이션, 구조화된 출력 등 미래 방향 제시

Achievement

그림 2: 모델 불확실성 원천의 시각화

그림 3: 데이터 불확실성 시각화 예시 (색상은 서로 다른 클래스를 표현)

1. 불확실성 원천 기반 분류체계: 모델 불확실성(Model Uncertainty/Epistemic), 데이터 불확실성(Data Uncertainty/Aleatoric), 그리고 둘 모두를 다루는 방법으로 UQ 방법을 3가지로 분류
2. 수학적 기초 제시: 지도학습 프레임워크에서 모델 불확실성의 3가지 원천(모델 족의 선택, 모델 파라미터 학습, 학습-추론 간 분포 차이/OOD)과 데이터 불확실성의 정의를 명확히 함
3. 실무 응용 연결: 의료진단, 지구과학, 교통 등 실제 응용 분야와 UQ의 연관성 설명
4. 주요 머신러닝 문제와의 통합: OOD 탐지, 능동학습(Active Learning), 심화강화학습(Deep RL)에서 UQ의 역할 분석

How

그림 4: 불확실성 원천의 다양한 유형

그림 5: DNN을 위한 UQ 문헌의 분류체계

불확실성 원천 정의:

• 데이터 불확실성(Aleatoric): 데이터의 고유한 무작위성/확률성(센서 노이즈) 또는 레이블 간 충돌에서 비롯되며 더 많은 학습 샘플로도 감소 불가능
• 모델 불확실성(Epistemic): 불충분한 학습 데이터, 부최적 모델 아키텍처/학습 알고리즘, OOD 샘플로 인한 불완전한 모델 학습에서 비롯되며 이론적으로 감소 가능

모델 불확실성의 세부 원천:

• 모델 족 선택의 불확실성: 최적 아키텍처 부재로 인한 편향(bias)
• 모델 파라미터 학습 불확실성: 제한된 데이터/부최적 최적화로 인한 분산(variance)
• 샘플 분포 차이: 학습 분포 $p_1(\mathbf{x},y)$와 추론 분포 $p_2(\mathbf{x},y)$ 간 불일치

분류체계:

• 모델 불확실성 전문 방법: 베이지안 신경망(BNN), 앙상블 방법, 소거(dropout)
• 데이터 불확실성 전문 방법: 확률적 출력층, 베이지안 신경망
• 둘 모두 다루는 방법: 완전 베이지안 접근, 다중 헤드 아키텍처

Originality

• 첫 시도: 기존 설문(신경망 아키텍처 또는 베이지안 관점)과 달리 불확실성 원천 중심의 분류체계 제시
• 명확한 정의: 감독학습 프레임워크에서 3가지 모델 불확실성 원천과 데이터 불확실성을 수학적으로 명확히 정의하고 시각화
• 실용적 관점: 응용 환경의 지배적 불확실성 유형에 따라 적절한 방법 선택을 가능하게 함
• 포괄적 범위: 전통 방법부터 LLM, 과학시뮬레이션, 구조화된 출력 등 최신 미래 방향까지 포함

Limitation & Further Study

한계:

• 불확실성 원천의 부분적 중첩 가능성(예: 희소한 학습 샘플로 인한 불확실성은 파라미터 학습 불확실성과 OOD 불확실성 모두로 해석 가능)
• 논문의 초반부 기초 내용은 기존 이론의 정리 수준
• 각 방법의 계산 효율성(computational cost) 비교 미흡

후속 연구 방향:

• 대규모언어모델(LLM) UQ: GPT 계열 모델의 불확실성 정량화 방법 개발
• 과학 시뮬레이션: 물리 방정식 학습, 역문제, 데이터 동화에서의 UQ
• 구조화된 출력(Spatiotemporal, Graph): 종속성 있는 다중 출력의 불확실성 표현
• 해석가능성과의 결합: UQ와 설명가능성(Explainability)의 통합

Evaluation

총평: 본 설문은 불확실성 원천이라는 실용적 관점에서 처음으로 UQ 방법을 체계화하여, 다양한 응용에서 적절한 UQ 방법 선택을 돕는 가치 있는 참고자료가 된다. 특히 고위험 응용과 신뢰성 있는 AI 개발의 시대에 시의적절한 기여를 하나, 각 방법의 비교 분석과 계산 효율성 논의가 더욱 심화된다면 더욱 실용적일 것으로 예상된다.