AI 아이디어가 인간의 창의성, 다양성, 아이디어 진화에 미치는 영향: 대규모 동적 실험 증거

Essence

Figure 1: 실험 설계 개요. 참가자들은 AI 또는 인간이 생성한 아이디어 예시를 본 후 창의적 아이디어를 제출한다.

LLM(대규모 언어모델) 노출이 급증하는 상황에서, 본 연구는 800명 이상의 참가자를 대상으로 한 대규모 동적 실험을 통해 AI 생성 아이디어가 인간의 창의성과 집단 아이디어 다양성에 어떻게 영향을 미치는지를 실증적으로 규명했다. 높은 AI 노출은 개별 창의성은 증가시키지 않지만 집단 아이디어 다양성과 그 변화 속도를 증가시킨다는 핵심 발견을 제시한다.

Motivation

Known:
- 인간이 보는 아이디어는 자신이 창조하는 아이디어에 영향을 미친다
- ChatGPT는 출시 후 역대 가장 빠르게 성장한 소비자 애플리케이션이 되었으며, 인간은 AI 콘텐츠를 구별하는 능력을 과대평가한다
- 기존 인간-AI 창의성 연구는 주로 "능동적 상호작용(active engagement)"을 다룬다
Gap:
- 현실에서 대부분의 사용자는 LLM 출력에 수동적으로 노출(passive exposure)되지만, 이에 대한 연구가 부족하다
- AI 아이디어 공개(disclosure) 여부가 인간의 아이디어 채택에 미치는 영향이 명확하지 않다
- 아이디어 진화의 동적 과정(temporal evolution)을 포착하는 실험 설계가 부재했다
Why:
- 문화는 개인과 사회가 아이디어를 교환하는 피드백 루프이고, AI가 이 루프에 진입할 때의 영향을 이해해야 한다
- AI 노출은 집단 지능(collective intelligence)에 함의를 가지며, 이는 정책 결정에도 영향을 미친다
Approach:
- 변형된 Alternate Uses Task(AUT) 활용: 참가자들이 일상용품의 창의적 용도를 제시
- 2개의 독립변수 조작: ①AI 노출 수준(없음/낮음/높음), ②AI 공개 여부
- 동적 실험 설계: 이전 참가자의 인간 생성 아이디어가 다음 참가자의 예시가 되는 구조
- 40개 이상 국가에서 800명 이상 참가, 5개 시행(trials) 진행

Achievement

Figure 2: 5개 시행에서 참가자들이 각 시행마다 창의적 용도를 생성하는 구조

높은 AI 노출은 집단 아이디어 다양성을 증가시키지만 개별 창의성은 영향 없음:
- 개별 아이디어의 창의성(originality) 점수는 AI 노출 수준에 따라 유의미한 차이 없음
- 그러나 높은 AI 노출 조건에서 아이디어 간 의미적 거리(semantic divergence)가 증가 → "AI는 아이디어를 더 좋게 만들지 않지만 다르게 만든다"
- 낮은 AI 노출 조건은 통제 조건과 구별되지 않음
높은 AI 노출은 아이디어 다양성 발전의 속도를 가속화:
- 동적 실험을 통해 시간에 따른 다양성 변화 속도 측정
- 높은 AI 노출 조건에서 집단 아이디어 다양성이 더 빠르게 증가
- 작은 변화 속도 차이도 누적되면 큰 장기 영향을 초래 가능
창의적 자신감과 AI 공개의 상호작용:
- 높은 창의성 자기평가 참가자: AI 공개 여부와 무관하게 AI 아이디어 채택율 동일
- 낮은 창의성 자기평가 참가자: AI 공개되었을 때 AI 아이디어 채택 감소
- 고창의성 집단은 "AI 아이디어인 줄 알아도 속지 않는다"는 시사
어려운 과제에서 AI 아이디어 채택 증가 (제한적 증거):
- AI 공개 조건에서, 어려운 AUT 항목(타이어, 바지 등)에 대해 AI 아이디어 채택 비율 증가
- 참가자들이 사소한 창의 과제가 아닌 난이도가 높은 과제에서 AI를 신뢰하는 경향

How

Figure 3: 참가자에게 제공된 연구 설명문

연구설계:
- 5개의 순차적 시행에서 각 시행마다 새로운 AUT 항목 제시
- 5개 조건: 통제(AI 0개), 낮은 노출+공개, 낮은 노출+비공개, 높은 노출+공개, 높은 노출+비공개
- 각 조건당 예시 6개: AI 비율 조절(0%, 33%, 67%)
- 인간 예시는 동일 조건의 이전 참가자 응답에서 최근 것 사용
창의성 측정:
- 미리 조정된 GPT-3 분류기 사용 (인간 판단과 r=0.81 상관)
- 높은 정확도를 보인 AUT 항목만 선택 (타이어 r=0.91, 바지 r=0.91 등)
- Originality(독창성) 점수에 초점
다양성 및 AI 채택 측정:
- SBERT(Sentence-BERT) 임베딩으로 모든 아이디어 벡터화
- 아이디어 다양성: 아이디어 세트 내 쌍별 코사인 거리의 중앙값
- AI 채택: 참가자 아이디어와 AI 예시 간 최대 코사인 유사도
- 견고성 검사(robustness check)로 평균값 및 중앙값 등 대체 지표도 측정
통계분석:
- 시간적 진화 분석: 시행별 다양성 궤적(trajectory) 비교
- 상호작용 효과 검토: 자기평가 창의성과 AI 공개 수준의 교차 영향 분석

Originality

수동적 노출 개념 도입: "능동적 상호작용" 중심의 기존 인간-AI 창의성 연구에서 벗어나 현실의 "수동적 노출" 패러다임 모델링
동적 실험 설계의 혁신성: 이전 참가자의 응답이 다음 참가자의 자극이 되는 피드백 루프 구조로 문화 진화의 누적 효과 포착
개별 vs. 집단 차원의 명확한 구분: 창의성은 개별 결과, 다양성은 집단 결과로 구분하여 상충하는 효과 발견 가능하게 함
대규모 다국가 샘플: 800명 이상 참가자, 40개 이상 국가 → 외적 타당성(external validity) 강화
공개(disclosure) 변수의 정책적 함의: AI 아이디어 공개 의무화 논의(캘리포니아 등)에 대한 실증적 근거 제공

Limitation & Further Study

제한사항:
- 창의성 차원의 축소: 유동성(fluency), 유연성(flexibility), 정교성(elaboration)을 측정하지 못함 (단일 응답 설계 때문)
- 분류기 의존성: GPT-3 분류기의 편향이 결과에 영향 미칠 수 있음 (r=0.81은 완벽하지 않음)
- 제한된 도메인: AUT와 일상용품 창의성에만 적용 → 다른 창의 활동(문필, 디자인 등)으로 일반화 불명확
- 어려운 과제 발견의 약한 증거: 소수의 AUT 항목을 기반으로 한 추측적 결과
- AI 아이디어 질의 변동: ChatGPT 생성 아이디어의 품질이 일정하지 않을 가능성
후속 연구 방향:
- 다양한 창의성 차원(유동성, 유연성 등) 측정을 위한 설계 개선
- 창의적 글쓰기, 디자인, 음악 등 다른 도메인에서의 검증
- 인간 평가자와의 비교를 통한 분류기 신뢰성 강화
- 더 오래 지속되는 동적 실험으로 장기 문화 진화 효과 분석
- 개인의 창의성 훈련, 도메인 전문성 등 조절변수(moderators) 추가 탐색
- 부정적 AI 아이디어 영향 가능성에 대한 명시적 검증

Evaluation

Novelty: 4.5/5 Technical Soundness: 4/5 Significance: 4.5/5 Clarity: 4/5 Overall: 4.25/5

총평: 본 논문은 "수동적 노출"이라는 현실적 개념을 도입하고 동적 실험 설계로 아이디어 진화를 추적함으로써 AI와 인간 창의성의 상호작용에 대한 기존 연구의 공백을 의미 있게 채웠다. AI가 반드시 개별 창의성을 증대시키지 않으면서도 집단 다양성과 그 발전 속도를 향상시킨다는 발견은 정책(AI 공개 의무화)과 집단 지능 설계에 중요한 함의를 제공한다. 다만 창의성 측정의 단일 차원성과 도메인 일반화의 제약이 남아있다.