GeneAgent: self-verification language agent for gene-set analysis using domain databases

Motivation

• Known: 유전자 집합 분석(gene-set analysis)은 공유 기능을 가진 유전자 그룹의 생물학적 메커니즘을 규명하는 중요한 방법이며, 최근 LLM이 유전자 집합의 기능 설명 생성에 활용되고 있음.
• Gap: 기존 LLM 기반 연구들이 생성된 결과의 팩트 검증(hallucination 문제)을 충분히 고려하지 않았으며, 생성된 생물학적 프로세스명의 정확성과 신뢰성 문제 해결 미흡.
• Why: 잘못된 유전자 기능 설명은 후속 연구 방향을 오도하고 신뢰도 있는 유전자 기능 해석의 장애물이 됨.
• Approach: 도메인 특화 생물학 데이터베이스(GO, KEGG, Reactome 등 18개)와 자동으로 상호작용하는 자기검증 메커니즘을 갖춘 LLM 에이전트 개발.

Achievement

세 데이터셋(GO, NeST, MSigDB)에 걸친 ROUGE 점수 및 의미 유사도(semantic similarity) 비교. GeneAgent이 모든 메트릭에서 GPT-4를 일관되게 상회함.

1. 벤치마크 성능 향상: 1,106개 유전자 집합 평가에서 GeneAgent이 GPT-4 대비 ROUGE-L 점수 0.239→0.310 (MSigDB), MedCPT 기반 의미 유사도 0.689→0.705 (GO dataset) 달성. 90% 이상 유사도 생성 케이스 104→170개 증가.
2. 실무 적용성 검증: 마우스 B2905 멜라노마 세포주 유래 7개 신규 유전자 집합 분석에서 전문가 검토 결과 GPT-4 대비 더욱 관련성 높고 포괄적인 기능 설명 생성. 다중 종(species) 간 안정성 확보.

How

selfVeri-Agent의 동작 예시: RTK signaling 관련 클레임이 데이터베이스 쿼리를 통해 MAPK signaling pathway와만 관련 있음을 확인하고 "부분 지지됨(partially supported)" 판정.

• 4단계 파이프라인:
  • Step 1 (생성): LLM이 프로세스명과 분석 내러티브 생성
  • Step 2, 4 (자기검증): 각 클레임을 추출하여 18개 도메인 데이터베이스 API 쿼리로 검증 (Supported/Partially Supported/Refuted 분류)
  • Step 3 (수정): 검증 보고서 기반 프로세스명 및 내러티브 수정
  • Step 5 (요약): 모든 검증 보고서를 통합하여 최종 출력 생성
• 데이터 누출 방지: 각 데이터베이스의 유전자 집합을 검증할 때 해당 데이터베이스 자체를 제외하는 마스킹 전략 적용
• Cascading 구조: 전통적 chain-of-thought 대비 개선된 추론 검증 프로세스로, 프로세스명 2회 검증으로 신뢰성 강화

Originality

• 자동 사실검증 메커니즘: LLM의 출력을 도메인 데이터베이스와 자동으로 대조하는 폐쇄형 루프 구조로, 기존 LLM 에이전트 연구의 환각 문제를 체계적으로 해결
• 다중 데이터베이스 통합: 18개 생물학 데이터베이스(GO, KEGG, Reactome, HPO, MsigDB, PubMed 등)를 4개 Web API로 통합하여 포괄적 검증 기반 구성
• 반복적 자기개선: 프로세스명 수정 후 내러티브 재검증하는 반복 구조로 누적 오류 감소
• 평가 방법론 확장: ROUGE, MedCPT 의미 유사도, 배경 의미 유사도 분포 등 다층적 평가 메트릭 적용 및 계층적 유사도 분석(hierarchical similarity analysis) 도입

Limitation & Further Study

• 데이터베이스 의존성: 미보유 또는 구식 데이터베이스 정보로 인한 신규 발견(novel discovery) 검증의 한계. 신규 유전자 기능 발견 시 검증 능력 제약 가능성
• 종 특이성 제한: 마우스 모델 적용 검증 진행했으나, 더 광범위한 생물종(식물, 미생물 등)에 대한 성능 평가 필요
• 클레임 추출 정확성: LLM이 생성한 내러티브에서 검증 가능한 클레임 추출의 정확성에 의존하므로, 복잡한 문맥적 표현에서의 클레임 놓침 가능성
• 후속 연구 방향: (1) 실시간 데이터베이스 업데이트 연동, (2) 사용자 피드백 기반 능동적 학습, (3) 신약 타겟 발굴 등 하위 응용 영역 확장, (4) 다중 모달(멀티오믹스) 데이터 통합 분석 지원

Evaluation

총평: GeneAgent는 도메인 데이터베이스 활용 자기검증으로 LLM의 환각 문제를 창의적으로 해결하며, 대규모 벤치마크와 실무 검증을 통해 생물정보학 분야의 신뢰도 있는 AI 활용을 선도하는 의미 있는 연구이다. 다만 미지의 유전자 기능 발견 능력과 다양한 생물종 적용성 확대가 향후 과제이다.