A Survey of AI Scientists

Motivation

• Known: AI가 패턴 인식, 데이터 마이닝 등 특정 분석 작업에 사용되어 왔으며, 최근 대규모 언어 모델(LLM)과 멀티-에이전트 아키텍처의 발전으로 AI 활용이 확대되고 있다.
• Gap: AI 과학자 시스템이 급속히 증가하면서 방법론적 원칙과 발전 트렌드를 통합하는 체계적 분류 체계가 부재하며, 단계별 격리(methodological silos)와 평가 이질성이 누적적 진전을 저해하고 있다.
• Why: 자율적 과학 발견이 과학 연구의 속도와 규모를 근본적으로 변화시킬 잠재력을 가지고 있으며, 통합 프레임워크는 실용적 개발과 이론적 이해를 모두 강화할 수 있다.
• Approach: 2022-2025년 50개 이상의 시스템을 분석하여 문헌 검토, 아이디어 생성, 실험 준비, 실험 실행, 과학 저술, 논문 생성의 6단계 프레임워크에 매핑하고, 재단 모듈 → 폐쇄 루프 통합 → 확장성과 협업의 3단계 진화 경로를 추적한다.

Achievement

Figure 1:

• 통합 6단계 프레임워크: 자율 연구 파이프라인을 문헌 검토부터 논문 생성까지 6개 상호 연결 단계로 정형화하여 정보 의존성과 단계별 역량을 모델링
• 포괄적 체계 분류: 50개 이상의 대표 시스템을 4×6 추상화 행렬(응용, 과제, 아키텍처, 역량 × 6단계)로 매핑하여 방법론 패턴과 역량 분포 파악
• 진화 궤적 추적: Foundational Modules(2022-2023) → Closed-Loop Systems(2024) → Scalability & Collaboration(2025-현재)의 명확한 3단계 발전 경로 제시
• 학제간 인사이트: 화학, 생물학, 물리학, 메타-과학 등 다양한 도메인에서 전이 가능한 방법론 원칙 도출

How

Figure 1:

• 4개 추상화 계층(Domains, Tasks, Architectures, Capabilities)과 6개 방법론 단계(Literature Review, Idea Generation, Experimental Preparation, Experimental Execution, Scientific Writing, Paper Generation)의 2D 분류 행렬 구성
• 각 시스템의 핵심 기술 요소(LLM, RAG, VLM, 강화 학습, 적응 제어 등) 및 과학적 산출물(가설, 프로토콜, 데이터, 초안, 논문) 매핑
• 시간 축으로 기초 모듈(task-specific automation) → 폐쇄 루프(closed-loop reasoning) → 확장 협업(human-in-the-loop synergy) 진화 추적
• 대표 시스템(AI-Scientist, Coscientist, BioPlanner, Quantum-Agent-SDL 등)의 사례 분석을 통한 패턴 추출

Originality

• 처음으로 전체 과학 워크플로우를 6단계의 통합 프레임워크로 형식화하여 방법론적 단편화 문제 해결
• 단순한 기능 또는 도메인 분류를 넘어 추상화 계층과 진화 단계를 동시에 반영하는 2D+ 분석 구조 제시
• 2022-2025 최근 4년간의 빠르게 발전하는 분야를 체계적으로 정리하여 현재까지의 종합 리뷰 부재 상황 해소
• 견고성, 검증 가능성, 윤리 거버넌스 등 미해결 과제와 로드맵을 함께 제시하여 실용적 가이드 제공

Limitation & Further Study

• 대부분의 시스템이 특정 도메인에 최적화되어 있어 크로스-도메인 일반화 가능성에 대한 실제 증거 부족
• 평가 메트릭의 이질성으로 인해 시스템 간 정량적 성능 비교가 어렵고, 통일된 벤치마크 부재
• 인간-AI 협업 메커니즘에 대한 이론적 이해와 실증적 분석이 부족하며 주로 기술 자동화 측면에 중점
• 논문 생성 단계에서의 과학적 신뢰성, 재현성, 윤리적 책임성에 대한 깊이 있는 논의 필요
• 후속 연구: (1) 도메인 간 전이 학습 능력 실증, (2) 통합 평가 스위트(evaluation suite) 개발, (3) 인간 전문가와의 협업 효과 정량화, (4) 자동 생성 논문의 검증 프로토콜 수립

Evaluation

총평: 이 서베이는 급속히 성장하는 AI 과학자 분야를 처음으로 체계적이고 포괄적으로 정리한 중요한 작업으로, 6단계 프레임워크를 통해 방법론적 원칙을 명확히 하고 미래 연구의 로드맵을 제시한다. 다만 정량적 성능 비교와 크로스-도메인 일반화에 대한 실증적 분석이 강화되면 더욱 완성도 있는 리뷰가 될 수 있다.