Simulating tabular datasets through LLMs to rapidly explore hypotheses about real-world entities

Motivation

• Known: LLM은 인터넷 규모의 대규모 데이터로 학습되어 있으며, 구체적인 개체에 대한 임의의 질문에 답변할 수 있는 능력이 점진적으로 향상되고 있다.
• Gap: 현실의 많은 데이터(전기, 인터뷰, 논문 등)는 비정형화되어 있고 분산되어 있어서, 흥미로운 패턴을 정량적으로 탐색하려면 수작업으로 데이터를 큐레이션하고 정제해야 하는 상당한 노력이 필요하다.
• Why: 가설 탐색에 필요한 (1) 질적 개념을 정량적 변수로 변환하고, (2) 다양한 비정형 소스에서 그 값을 수집하는 과정이 매우 노동집약적이다.
• Approach: LLM을 활용하여 구체적인 개체 리스트와 속성이 주어졌을 때, 각 (개체, 속성) 조합에 대해 LLM을 쿼리하여 근사적 표 형식 데이터셋을 빠르게 생성하는 "LLM-driven Dataset Simulation"을 제안한다.

Achievement

1. LLM 기반 데이터 시뮬레이션의 유효성 입증: 동물, 국가, 운동선수 등 다양한 도메인에서 LLM이 실제 개체의 속성에 대해 합리적인 충실도(fidelity)로 데이터셋을 생성할 수 있음을 실증적으로 보였다. 모델 크기가 클수록 시뮬레이션 정확도가 향상된다.
2. 가설 기반 자동화 파이프라인: 단순한 고수준 가설 설명(예: "공포 작가의 어린 시절")만으로 LLM이 (1) 관련 정량적 속성을 자동 제안하고, (2) 탐색에 필요한 개체 리스트를 생성하며, (3) 각 개체의 속성값을 추정하는 전체 파이프라인 구현을 시연했다.
3. 과학적 탐색의 가속화: 검증된 데이터셋 큐레이션이나 신규 데이터 수집 전에 저렴하고 신속한 반복적 가설 프로토타이핑이 가능하여, 과학적 발견 사이클을 단축할 수 있음을 보였다.

How

LLM-driven Dataset Simulation: 개체 리스트와 속성이 주어졌을 때, 각 (개체, 속성) 조합에 대해 LLM을 쿼리하여 속성값 추정

Hypothesis-driven Dataset Simulation 파이프라인: 고수준 가설 설명에서 시작하여 속성 생성, 개체 리스트 구성, 데이터셋 시뮬레이션까지 자동화

방법론

• LLM-driven Dataset Simulation:
  • 입력: 구체적 개체 리스트(예: 100명의 공포 소설가), 속성 리스트(예: 부모 이혼 여부, ACE 점수)
  • 처리: 각 (개체, 속성) 조합마다 LLM에 쿼리하여 추정값 획득
  • 출력: 표 형식의 시뮬레이션 데이터셋
• Hypothesis-driven Dataset Simulation:
  • Prompt Generation: 실험자의 가설 설명을 입력받아 LLM이 시스템 프롬프트와 사용자 프롬프트 자동 생성
  • Property Simulation: 생성된 프롬프트를 통해 자유형식 텍스트로 속성 정의 및 가능한 값 범위 기술
  • Property Parsing: 자유형식 텍스트를 구조화된 형식(속성명, 설명, 가능값)으로 파싱
  • Self-Correction: LLM이 자신의 속성값 추정을 재검토하고 오류 수정(hallucination 감소 목표)
• 다양한 도메인 실험:
  • 동물의 이진 특성(동물원 데이터셋): 간단한 baseline
  • 국가의 다중값 속성: 더 복잡한 도메인
  • 운동선수의 속성: 인물 관련 데이터

Originality

• Novel Pipeline Design: LLM을 단순한 정보 추출 도구가 아니라 표 형식 데이터셋 생성 엔진으로 활용하는 통합 파이프라인은 기존의 합성 데이터(synthetic data) 생성과 구별된다.
• Hypothesis-Driven Automation: 단순히 데이터셋을 생성하는 것을 넘어, 질적 가설을 정량적 변수로 자동 변환하는 메타레벨의 자동화를 시도한 점이 창의적이다.
• Exploratory Science 관점: 기존 가설 생성 연구(text-based, data-driven)와 달리, LLM 시뮬레이션을 통한 빠른 프로토타이핑으로 과학적 탐색 사이클을 단축하는 접근이 신선하다.
• 실용적 도구 공개: 재현 가능성과 접근성을 위해 코드를 공개하여 커뮤니티 활용을 도모했다.

Limitation & Further Study

• Hallucination 위험: LLM의 근본적인 hallucination 문제로 인해 생성된 데이터의 정확성이 보장되지 않는다. 자가수정(self-correction) 메커니즘이 부분적 완화만 제공한다.
• 검증 부족: 실험 대상 도메인이 제한적이며, 특히 질적으로 복잡한 속성(예: 심리 상태, 정서 상태)의 추정 정확도에 대한 체계적 검증이 미흡하다.
• 모델 의존성: 결과가 특정 LLM 모델에 크게 의존하며, 다양한 아키텍처와 모델에서의 일반화 가능성이 불명확하다.
• 인과관계 추론 한계: 시뮬레이션 데이터의 상관관계 발견이 실제 인과관계를 반영하지 못할 수 있으며, 이에 대한 주의 및 가이드라인 부재.
• 후속 연구 방향:
  • Retrieval-Augmented Generation(RAG) 적용으로 hallucination 감소
  • 검증된 벤치마크 도메인에서 대규모 정확도 평가
  • 맥락 내 학습(in-context learning), 체인-오브-쓰앗(chain-of-thought) 등 프롬프트 최적화
  • 시뮬레이션 데이터로 발견된 상관관계의 통계적 유의성 검증 절차 개발

Evaluation

총평: 본 논문은 LLM의 새로운 활용 방식—질적 과학 가설을 정량적으로 빠르게 프로토타이핑하는 도구—을 창의적으로 제시한다. 개념적으로 유의미하며 과학적 발견 사이클을 가속화할 수 있는 잠재력을 보여주지만, hallucination 위험, 제한적 실험 검증, 도메인 일반화 부족 등으로 인해 현 단계는 학술적 탐색(proof-of-concept) 수준으로 평가된다. 향후 RAG, 강화된 검증 절차, 더 광범위한 도메인 실험을 통해 신뢰성을 높인다면 실용적 영향력이 상당할 것으로 기대된다.