The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search

Motivation

• Known: The AI Scientist-v1은 자동화된 과학 발견의 가능성을 입증했으나, 인간이 작성한 코드 템플릿(human-authored code templates)에 의존하고 선형적 실험 프로세스만 지원함
• Gap: v1은 새로운 주제별로 수작업 템플릿 제작이 필요하고, 얕은 탐색으로 인해 복잡한 가설의 심도 있는 검증 불가능
• Why: 진정한 과학적 자율성을 달성하려면 템플릿 의존도 제거, 다양한 ML 도메인에 일반화 가능해야 하며, 인간 과학자처럼 반복적 가설 정제 필요
• Approach:
  • 템플릿 독립적 일반화된 아이디어 생성 단계 도입
  • 실험 진행 관리자(Experiment Progress Manager)와 트리 서치 기반 탐색 알고리즘 개발
  • Vision-Language Model(VLM) 피드백 루프 통합으로 도형·캡션 반복 개선
  • 병렬 실험 실행 지원

Achievement

1. 첫 피어 리뷰 통과: 3개의 완전 자동 생성 논문을 ICLR 2025 워크숍에 투고하여 1편이 평균 점수 6.33(상위 45%)으로 수용 기준 달성 - AI 생성 논문의 역사적 첫 성공
2. 자율성 강화: 인간 작성 템플릿 제거로 다양한 ML 도메인에 즉시 배포 가능
3. 탐색 깊이 증대: 트리 서치 기반 실험 관리로 복잡한 가설에 대한 체계적 탐색 가능
4. 품질 향상: VLM 기반 피드백 루프로 도형, 캡션, 텍스트 해석의 일관성 및 명확성 개선

How

아이디어 생성 단계

• 기존 코드 기반 증분 수정 방식에서 벗어나 추상적 수준의 개방형 사고 도입
• Semantic Scholar 등 문헌 검색 도구 통합으로 제안 개념의 신규성 평가 및 선행 연구 파악

템플릿 의존도 제거

• 실험 진행 관리자(Experiment Progress Manager): 실행 가능성 평가→기본 구현→세부 실험 단계로 구조화된 과학적 워크플로우 모방
• 트리 서치 기반 코드 생성: 각 노드가 코드 상태를 표현하고, 평가 점수를 기반으로 반복적 선택·정제하여 최적 코드 체크포인트 탐색

VLM 피드백 통합

• 실험 및 리뷰 단계에서 도형·캡션의 내용과 미적 품질 반복 개선
• 시각화 및 텍스트 해석의 일관성 강화

원고 작성 및 리뷰

• 단계적 생성(single-pass generation) + 별도 반영 단계(o1 같은 추론 모델 활용)로 기존 점진적 Aider 기반 방식 대체
• 병렬 실험 실행으로 효율성 증대

Originality

• 트리 서치 적용의 창의성: AIDE의 트리 서치 아이디어를 과학 발견의 다단계 특성에 맞게 적응시켜 구조화된 탐색 전략 구현
• VLM 피드백 루프: 도형과 텍스트 해석의 반복 개선을 위한 VLM 통합은 과학 논문 생성의 품질 향상에 신규 기여
• 템플릿 독립 일반화: 사전 정의된 기본 코드 없이 순수 LLM 기반 코드 생성으로 범용성 확보
• 문헌 기반 아이디어 검증: 생성 단계에서 즉시 문헌 검색을 통한 신규성 평가로 더 과학적인 접근

Limitation & Further Study

한계

• 피어 리뷰 통과 논문도 reviewers가 지적한 대로 방법 설명 미흡, 직관적 설명 부족, 도형 캡션 부정확성 등 여전한 품질 문제 존재
• 구성성 정규화(compositional regularization) 기법 선택의 정당화 부족 - AI 시스템이 '왜 이 방법이 작동할 것인가'를 충분히 추론하지 못함
• 데이터셋 중복 우려, 컨퍼런스 수준의 엄격성에는 미흡
• 트리 서치의 계산 오버헤드 및 확장성 한계 미논의
• 윤리 및 AI 안전 문제에 대한 심도 있는 논의 부족

후속 연구

• 방법론적 타당성 강화: AI가 선택한 기법의 이론적 근거를 더 엄격히 검증하는 메커니즘
• 장기 탐색 전략: 더 복잡하고 시간이 오래 걸리는 실험 문제로의 확장
• 인간-AI 협력 모델: 완전 자동화가 아닌 인간 과학자와의 상호작용 최적화
• 컨퍼런스 수준 논문 생성으로의 도약을 위한 체계적 개선

Evaluation

총평: 본 논문은 AI 기반 과학 발견의 실질적 진전을 보여주는 중요한 작업으로, 템플릿 독립성 달성과 피어 리뷰 통과라는 역사적 성과를 기록했으나, 여전히 방법론적 엄격성과 컨퍼런스 수준의 논문 품질 달성까지는 거리가 있으며, AI 안전 및 윤리적 함의에 대한 더 깊은 논의가 필요하다.