Automated Hypothesis Validation with Agentic Sequential Falsifications

Motivation

• Known:
  • 가설은 의사결정과 과학적 발견의 중심축
  • LLM이 대량의 가설을 생성하는 능력 보유
  • 추상적 가설을 직접 검증하기 어려움
• Gap:
  • LLM 생성 가설의 할루시네이션 문제
  • 수백~수천 개의 가설을 수작업으로 검증 불가능
  • 추상적 가설을 측정 가능한 함의로 자동 분해 필요
  • 기존 자동화 검증 프레임워크의 통계적 엄격성 부족
• Why:
  • 거짓 양성(false positive) 검증으로 인한 자원 낭비와 신뢰 손상 방지
  • 다양한 도메인에서 확장 가능한 검증 시스템 필요
• Approach:
  • 두 개의 특화된 LLM 에이전트 구조 (실험 설계 에이전트 + 실행 에이전트)
  • 칼 포퍼의 반박 원칙 기반 반복적 가설 검증
  • 순차적 검정(sequential testing) 프레임워크로 e-값 집계

Achievement

POPPER와 인간 전문가의 성능 비교: 생물 정보학 박사 수준 전문가와 유사한 검증 능력

1. 통계적 엄격성: 제1종 오류율을 사전설정 유의수준 α에서 엄격히 제어하면서 기존 방법 대비 높은 검정력(power) 달성
2. 시간 효율성: 복잡한 생물 가설 검증에서 인간 과학자 대비 10배 단축 (검증 성능은 동등 수준)
3. 확장성: 생물학, 경제학, 사회학 등 6개 도메인에서 성공적 적용 입증
4. 다양성: 데이터 분석, 시뮬레이션, 실제 실험 등 이질적 실험 방식 통합 지원

How

POPPER의 특성: (1) 생물학적으로 타당한 반박 실험 설계 (2) 순차적 오류 제어 성능

주요 방법론

• 2단계 에이전트 구조:
  • 실험 설계 에이전트: 주 가설에서 측정 가능한 부 가설(sub-hypothesis) 도출 → 명확한 귀무가설/대립가설 수립 → 반박 실험 설계
  • 실험 실행 에이전트: ReAct 기반 동작으로 데이터 검색, 전처리, 통계 분석 수행 → p-값 생성
• 자체 정제(Self-Critique) 메커니즘:
  • 인과성, 데이터 가용성, 중복성 검토
  • 관련성 검증기(relevance checker)를 통한 LLM-as-a-judge 평가
• 순차적 검정 프레임워크 (Sequential Testing):
  • p-값 → e-값(e-value) 변환: $e_i = p_i^{-1}$
  • 누적 증거 집계: $E = \prod_{j=1}^{i} e_j$
  • 조기 종료 규칙: $E \geq 1/\alpha$ 이면 귀무가설 기각, $E < 1/\alpha$ 이면 다음 실험 진행
  • Any-time validity 보장으로 동적 의사결정 가능
• 문제 정식화:
  • 가설 H를 {변수, 관계, 문맥} 삼중쌍으로 표현
  • 검증 함수 $f: H \rightarrow \{0,1\}$ (0=미검증, 1=검증)
  • 목표: $\sup_{P \in P_0} P(\hat{y}=1) \leq \alpha$ (제1종 오류 제어)

Originality

• 칼 포퍼 철학의 현대적 구현: 전통 철학 원칙을 LLM 기반 자동화에 적용한 최초 시도
• 순차적 e-값 프레임워크: 의존성 있는 다중 LLM 생성 검정을 통계적으로 엄격하게 처리하는 새로운 방법
• 이질적 실험 통합: 동일한 프레임워크로 데이터 분석, 시뮬레이션, 실측 실험 등 다양한 형태의 검정 결합
• 자체 정제 메커니즘: LLM의 추론 오류를 줄이기 위한 비판적 평가와 개선 루프 내재화
• 대규모 멀티도메인 검증: 학문 분야를 초월한 통일된 검증 프레임워크 첫 구현

Limitation & Further Study

• LLM 의존성: 에이전트의 성능이 기저 LLM 모델의 능력에 직결되며, 새로운 도메인에서의 일반화 능력 미확인
• 부 가설 생성의 창의성 제약: 측정 가능한 함의를 발견하는 데 있어 LLM의 창의성이 제한될 수 있으며, 중요한 함의 누락 가능성
• 실험 설계 복잡도: 복잡한 인과적 가설의 경우 적절한 통제 실험 설계가 어려울 수 있음
• 데이터 가용성 의존: 존재하는 데이터셋에 의존하며, 새로운 유형의 데이터 수집 자동화는 제한적
• 사람-기계 협력의 최적화: 언제 인간 전문가의 개입이 필요한지, 어느 단계에서 개입해야 하는지에 대한 연구 부족
• 후속 연구 방향:
  • 더 복잡한 인과 가설 검증 능력 강화
  • 다중 에이전트 협력을 통한 검증 과정의 견고성 향상
  • 실측 실험 설계 자동화 확대
  • 도메인별 특화 파인튜닝 및 전이 학습 메커니즘 개발

Evaluation

총평: POPPER는 LLM 기반 가설 검증의 자동화와 통계적 엄격성을 동시에 달성한 중요한 기여 논문이다. 칼 포퍼의 고전적 철학을 현대적으로 구현하고, 순차적 검정 이론을 LLM 에이전트 시대에 맞게 적응시킨 점이 특히 가치 있다. 인간 전문가 대비 10배 시간 단축과 동등한 성능은 실무적 임팩트가 크며, 멀티도메인 검증으로 확장성을 입증했다. 다만 LLM 의존성, 도메인 특수성, 부 가설 발견의 완전성 등에서 향후 개선 여지가 있다.