Autokaggle: A multi-agent framework for autonomous data science competitions

Motivation

• Known: LLM 기반 에이전트가 데이터 분야에서 자동화된 분석과 처리 가능성을 보여줌. 단일 에이전트는 기본 작업 수행 가능하나, 복잡한 실제 데이터 과학 작업에는 한계 존재.
• Gap: 기존 연구는 단순한 일 단계(one-step) 분석 작업에 국한되거나, 완전한 데이터 과학 파이프라인의 일부만 다루는 제한적 시나리오에 집중. 사전 구축된 지식 기반에 의존하여 유연성과 적응성 부족. 중간 의사결정 단계의 해석 가능성과 투명성 무시.
• Why: Kaggle은 실제 데이터 과학 문제를 모사하며, 데이터 정제, 탐색, 특성 엔지니어링, 모델 구축의 전체 프로세스를 포함하므로 자동화 도구 평가에 이상적. 사용자 신뢰와 실무 적용성을 위해 해석 가능성과 투명성이 필수.
• Approach: 위상 기반 워크플로우(6단계)와 5개 전문 에이전트의 협력, 반복적 디버깅/테스트, 검증된 ML 도구 라이브러리, 인간-루프(Human-in-the-Loop) 개입 메커니즘 통합.

Achievement

Figure 3: 다양한 설정/작업에 대한 평균 정규화된 성능 점수

1. 높은 작업 완료율: 8개 Kaggle 경진대회에서 0.85의 검증 제출 성공률 달성으로 인간 평균 수준 이상의 경쟁력 있는 성능 입증
2. 포괄적 자동화 솔루션: 배경 이해, 데이터 정제(DC), 특성 엔지니어링(FE), 모델 구축/검증/예측(MBVP) 등 6단계의 완전한 파이프라인 자동화
3. 견고한 코드 품질: 반복적 디버깅과 단위 테스트(Unit Testing)를 통해 문법적 정확성과 논리적 일관성 동시 보장
4. 투명성과 신뢰성: 각 단계별 상세 리포트 생성으로 의사결정 과정 가시화, 사용자 신뢰도 증대 및 교육 도구로서의 기능 수행

How

Figure 2: 반복적 디버깅과 테스트 프로세스 - 코드 생성 → 실행 → 버그 확인 → 테스트 반복

• 위상 기반 워크플로우: 데이터 과학 프로세스를 6개 위상으로 구조화하여 각 단계를 독립적으로 처리 및 테스트 가능하게 함. 에러 전파 방지 및 각 위상별 단위 테스트 용이
• 다중 에이전트 협력: Reader(문제 분석), Planner(전략 수립), Developer(코드 구현), Reviewer(검증), Summarizer(리포팅)의 5개 전문 에이전트가 역할 분담. 복잡한 작업을 세분화된 부작업으로 분해
• 반복적 디버깅 및 테스트: Developer가 코드 실행, 디버깅, 단위 테스트 3가지 도구 활용. 구문 오류와 논리 오류를 모두 검증하여 코드 품질 보장
• ML 도구 라이브러리: 데이터 정제, 특성 엔지니어링, 모델 구축을 위한 검증된 함수 집합. LLM의 도메인 특화 지식 의존성 감소
• RAG(Retrieval-Augmented Generation): 필요 시 도구 라이브러리와 기존 문서 참조하여 생성 품질 향상
• 인간-루프 메커니즘: 정의(Define) 및 수정(Modify) 단계에서 사용자 개입 포인트 제공하여 자동화와 사람의 전문성 결합

Originality

• 완전한 데이터 과학 파이프라인(6단계)을 자동화하는 통합 프레임워크 제시 - 기존 작업은 단편적 자동화에 국한
• 위상 기반 워크플로우와 다중 에이전트 협력의 체계적 결합으로 복잡도 관리 및 오류 전파 방지
• 전문가 작성 코드 스니펫과 자동 생성 코드를 결합한 하이브리드 접근법으로 LLM 할루시네이션 완화
• 반복적 디버깅/테스트, RAG, 인간-루프를 모두 통합한 다층 품질 보증 메커니즘
• 해석 가능성과 투명성을 명시적으로 설계(단계별 리포팅)하여 실무 신뢰성 강화 - 기존 연구의 주요 공백 해결
• Kaggle 경진대회를 평가 벤치마크로 선택하여 현실성 높은 복합 작업 환경에서의 검증

Limitation & Further Study

• 평가 범위 제한: 8개 Kaggle 경진대회만 평가 대상으로, 더 다양한 데이터 과학 작업(텍스트 데이터, 시계열, 이미지 등)으로의 일반화 가능성 미검증
• 에이전트 복잡도와 비용: 5개 에이전트의 협력으로 인한 LLM API 호출 수 증가 - 계산 비용과 지연 시간 분석 부족
• 인간-루프의 현실적 적용성: 이론적으로 사용자 개입이 가능하나, 실제 사용 시나리오에서의 인터페이스 설계 및 사용 편의성 미상세
• 도메인별 도구 라이브러리 확장성: 현재 일반적인 ML 도구에 국한 - 특화된 도메인(금융, 의료 등)의 추가 도구 개발 전략 부재
• 후속 연구 방향:
  • 비정형 데이터(텍스트, 이미지, 시계열) 처리 능력 확장
  • 에이전트 간 통신 최적화로 계산 비용 절감
  • 사용자 피드백 기반 지속적 학습 메커니즘 도입
  • 다른 데이터 과학 플랫폼(Competitions, DrivenData 등)으로의 적용성 검증

Evaluation

총평: AutoKaggle은 LLM 기반 데이터 과학 자동화의 실제 적용 사례로, 위상 기반 워크플로우와 다중 에이전트 협력을 통해 완전한 데이터 파이프라인 자동화를 시도한 의미 있는 작업입니다. 특히 반복적 테스트와 인간-루프 통합, 투명성 강화는 실무 신뢰성을 높이는 강점입니다. 다만 기술적 혁신성은 중간 수준이며, 평가 범위(Kaggle 8개), 벤치마크 정의의 명확성, 실제 계산 비용 분석 부재 등이 논문의 한계입니다. 추후 더 광범위한 데이터 타입, 도메인, 플랫폼으로의 검증과 상세한 기술 문서화가 필요합니다.