Can we automatize scientific discovery in the cognitive sciences?

Motivation

• Known: 인지과학은 전통적으로 연구자가 패러다임을 개발 → 데이터 수집 → 사전정의된 모델 클래스 테스트의 4단계 순환 사이클을 따름
• Gap: 이 수동 파이프라인은 인간 개입의 느린 속도, 제한된 탐색 공간(연구자의 직관과 배경에 의존), 그리고 연구자의 편견 등으로 인해 근본적으로 제약됨
• Why: 가설 제안부터 최종 발표까지 수년이 소요되어 이론 발전 속도가 데이터 수집 속도와 괴리되며, 미탐색 실험 설계와 알고리즘 공간이 간과됨
• Approach: LLM 기반 완전 자동화 사이클을 제안하여 각 단계(실험 제안, 데이터 생성, 모델 합성, 루프 폐쇄)를 in silico에서 구현

Achievement

1. 자동화된 4단계 발견 사이클:
   • 실험 제안(LLM 기반 실험 샘플링)
   • 데이터 생성(Centaur 같은 인지 기초 모델)
   • 모델 합성(LLM 기반 프로그램 합성 및 진화 알고리즘)
   • 루프 폐쇄(LLM-비평가를 통한 "흥미로움" 최적화)
2. 개인차 통합: 인구통계학, 정신건강 척도, 유전적 위험 등 메타데이터를 조건부로 입력하여 특정 참가자 프로파일의 고충실도 행동 데이터 생성 가능

How

• 실험 제안: 마르코프 결정 과정(MDP) 기반 문법 또는 LLM이 직접 개념적으로 의미있는 작업 구조를 샘플링하여 기존 실험의 최적화가 아닌 새로운 패러다임 생성
• 데이터 생성: 기초 모델(foundation model)이 자연언어 기술을 통해 작업을 받고, 반복적 프롬팅으로 각 시행의 선택과 결과를 누적하며 인간 행동과 구분 어려운 수준의 데이터 생성
• 모델 합성: GeCCo(Guided generation of Computational Cognitive Models) 파이프라인이나 FunSearch 같은 진화 알고리즘을 통해 Python 함수 형태의 모델을 자동 생성·반복 개선하며 광대한 알고리즘 가설 공간 탐색
• 루프 폐쇄: 신규성(novelty), 압축성(compressibility), 질적 서명(qualitative signatures), 전이 가능성(transferability) 등을 평가하는 LLM-비평가가 "흥미로움" 점수를 매겨 다음 사이클을 유도

Originality

• 완전 자동화 파이프라인: 각 단계별 자동화 연구는 기존에 있으나, 실험 제안부터 모델 합성, 루프 폐쇄까지 전 사이클을 통합한 end-to-end 시스템은 혁신적
• LLM의 다층적 활용: 실험 샘플러, 데이터 생성기(기초 모델), 모델 합성기, 비평가로서 서로 다른 역할 수행
• "흥미로움" 개념의 도입: 단순 정보 이득(information gain)을 넘어 개념적 수확량(conceptual yield)을 최적화하는 새로운 목적함수 제안
• 개인차 조건부 데이터 생성: 메타데이터를 통합하여 특정 인구집단의 행동을 모의하는 방식의 정교화

Limitation & Further Study

• 표현성 병목(Representational bottleneck): 자동 발견은 기저 문법의 표현력에 제한되며, 충분히 광범위한 작업 언어 구축이 핵심 과학적 과제로 남음
• 기초 모델의 일반화 한계: 기초 모델이 학습 분포 외 완전히 새로운 작업 구조로의 외삽 능력이 불완전할 수 있음
• 인식론적 실패 위험: 통계적으로 그럴듯하나 과학적으로 공허한 결과를 생성할 위험(Borges의 바벨의 도서관 비유)
• 해석 가능성과 이론적 타당성: 생성된 모델이 진정으로 인지적으로 설명력있는지, 단순 데이터 맞춤인지 검증 필요
• 후속 검증: 자동 발견 시스템의 상위 발견들은 실제 인간 참가자를 대상으로 in vivo 검증 필수

Evaluation

총평: 인지과학의 자동화된 발견을 위한 포괄적이고 야심찬 프레임워크를 제시하여 과학 혁신의 새로운 방향을 제시하지만, 기초 모델의 신뢰성, 자동 생성 모델의 과학적 타당성, 그리고 인식론적 함정에 대한 실증적 검증이 필요하다.