Biodsa-1k: Benchmarking data science agents for biomedical research

Motivation

• Known: 최근 LLM 기반 AI 에이전트들이 실험 설계, 코드 생성, 결과 해석 등 과학 연구 작업을 수행할 수 있음이 시연되었으나, 기존 평가 벤치마크는 제한적 범위와 단순한 데이터셋에만 초점을 맞춤
• Gap:
  1. 소수의 논문에서만 과제 추출 (다양성 부족)
  2. 상대적으로 단순한 데이터셋 활용 (1-2개 테이블, 수십 개 컬럼)
  3. 기초 데이터 분석 단계와 근거(evidence) 검증 과정 미흡
  4. 검증 불가능한 가설(데이터 부족) 시나리오 미포함
• Why: 가설 예측 정확도만으로는 올바른 분석 수행을 보장할 수 없으며, 실제 과학 연구에서는 데이터 부족으로 결론을 내릴 수 없는 경우가 빈번함
• Approach: cBioPortal에서 수집한 329개 생의학 논문과 대응 데이터셋을 활용하여 가설, 분석 계획, 근거, 평가 지표를 체계적으로 구성한 대규모 벤치마크 구축

Achievement

BIODSA-1K의 전체 개요: (a) 벤치마크 큐레이션 - 논문의 가설과 근거 추출, (b) 실험 - AI 에이전트의 계획-프로그램-분석-관찰-의사결정 사이클, (c) 평가 지표 - 가설 결정 정확도, 근거 정렬 점수, 검증 불가능 가설 감지(정밀도/재현율), 코드 실행 가능성

1. 대규모 다양한 벤치마크 구축: 329개 논문에서 1,029개 가설과 1,177개 분석 과제 추출, 8가지 논문 유형(게노믹스, 치료제, 바이오마커, 분자 등) 포함
2. 복잡한 현실적 데이터셋: 임상 데이터, 돌연변이 데이터, 유전자 발현, 단백질 발현 등 다양한 생의학 데이터 타입 포함, 행(102~105)과 열(101~103) 범위의 높은 이질성 반영
3. 다각적 평가 프레임워크: 가설 결정 정확도(Type I/II 오류), 근거-결론 정렬도, 추론 과정 정확성, 코드 실행 가능성, 검증 불가능 가설 감지(정밀도/재현율) 등 4가지 축으로 평가
4. 검증 불가능 가설 포함: 데이터 부족으로 주장을 확인/반박할 수 없는 현실적 시나리오를 최초로 포함

How

• 출판물 및 데이터셋 수집: cBioPortal(암 게노믹스 및 임상 데이터 종합 포털)을 활용하여 논문의 추상(abstract)과 대응 생의학 데이터 테이블을 쌍으로 수집
• 가설 및 근거 추출: GPT-4o 모델을 사용하여 출판 논문에서 가설과 지지 근거(supporting evidence)를 자동 추출, 원래 연구의 결론을 반영하여 긍정적 진술로 표현
• 데이터 캡셔닝 프라이버시 보호: 환자 수준의 개인정보를 LLM으로 송부하지 않고, 스키마 기반 표현으로 각 열의 통계량(unique values, missing ratio, 최빈값, 범위 등) 구성
• 과제 정의: 각 과제는
  1. 명확한 가설 진술
  2. 대비 가설(counter-hypothesis)
  3. 분석 계획
  4. 정량적 평가 지표로 구성
• 다단계 평가: AI 에이전트의 계획 수립 → 코드 생성 → 실행 → 결과 관찰 → 가설 의사결정 전 과정 평가

Originality

• 기존 벤치마크 대비 8배 이상 큰 규모 (기존 최대 293개 vs 1,029개 과제) 및 10배 이상 풍부한 컬럼 수 (평균 26개 vs 879개)
• 가설 검증 완전 사이클 명시: 기존은 코드 생성 중심이나, 본 논문은 가설-분석-근거-의사결정의 전체 연구 파이프라인 모델링
• 검증 불가능 가설(non-verifiable hypotheses) 최초 포함: 실제 과학에서 흔한 "데이터 부족" 시나리오를 정밀도/재현율로 평가
• 프라이버시 보호 설계: 환자 개인정보 미노출로 LLM API 활용 시 규제 준수
• 근거-결론 정렬 평가: 단순 정답 맞춤이 아닌 "올바른 추론 경로" 검증으로 AI 신뢰성 평가

Limitation & Further Study

• 자동 추출의 한계: GPT-4o를 사용한 가설/근거 추출 과정에서 오류 가능성, 수동 검증 규모 불명확
• LLM 바이어스: 벤치마크 구축 과정 자체에서 LLM 사용으로 인한 체계적 바이어스 가능성
• 인과성 vs 상관성: 많은 생의학 분석이 상관관계만 보여주나, 가설이 인과관계로 표현될 수 있는 불일치
• 통계적 검정력: 검증 불가능 가설 판정 시 필요한 표본 크기, 효과 크기, 검정력 추정 기준 미상세
• 도메인 특화 코드: 생의학 분석의 도메인 특화 패키지(bioconductor, pathways 등) 활용 평가 미흡
• 후속 연구:
  1. 다양한 LLM 모델(Claude, Gemini, 오픈소스 모델) 비교 평가
  2. 에이전트의 자동 근거 요약 및 해석 평가
  3. 대화형 피드백 루프에서 에이전트 개선 메커니즘 연구
  4. 다언어 지원 확대

Evaluation

총평: BIODSA-1K는 기존 생의학 AI 벤치마크의 규모, 복잡성, 현실성을 획기적으로 확대하며, 특히 검증 불가능 가설 포함과 근거-결론 정렬 평가는 AI 신뢰성 평가의 새로운 기준을 제시한다. 다만 자동 추출 과정의 오류 관리와 도메인 특화 기술 평가 보완이 필요하다.