Best humans still outperform artificial intelligence in a creative divergent thinking task

Essence

본 연구는 대체 용도 과제(Alternate Uses Task, AUT)를 통해 인간과 AI 챗봇의 창의성을 비교하였으며, 평균적으로는 AI가 우수하지만 최상위 인간의 창의적 아이디어는 여전히 AI와 동등하거나 초과한다는 것을 발견했다.

Known: 최근 생성형 AI(ChatGPT, MidJourney 등)가 고품질의 예술 작품과 창의적 콘텐츠를 생산할 수 있게 되면서 인공지능의 창의성에 대한 논의가 활발해지고 있다. 역사적으로 창의성은 인간의 고유한 능력으로 여겨져 왔다.
Gap: AI의 창의성 평가는 주로 예술 작품의 질적 판단에 의존해 왔으나, 창의적 사고의 핵심인 '발산적 사고(divergent thinking)'를 정량적으로 비교한 실증 연구가 부족하다.
Why: AI 기술의 고도화가 창의적 일자리에 미치는 영향, 인간의 고유한 창의성의 특성, AI와 인간 창의성의 본질적 차이를 이해하는 것이 중요하다.
Approach: 256명의 인간 참가자와 3종류의 AI 챗봇(ChatGPT 3.5, ChatGPT 4, Copy.Ai)을 대상으로 AUT를 실시하고, 의미적 거리(semantic distance) 측정과 인간 평가자의 주관적 평가를 통해 창의성을 다각적으로 분석했다.

인간과 AI의 평균 점수 및 최고 점수 비교

평균 성능에서의 AI 우위: AI 챗봇들은 인간 참가자보다 평균적으로 높은 창의성 점수를 기록했으며, 의미적 거리와 주관적 평가에서 모두 우수한 성능을 보였다.
최고 성능에서의 인간 우월성: 그러나 최상위 인간 아이디어들은 AI의 창의성과 동등하거나 초과했으며, 이는 인간의 창의성이 여전히 독특한 가치를 지님을 시사한다. AI는 질 낮은 아이디어를 포함한 광범위한 분포를 보인 반면, 최고 수준의 인간은 더 일관되게 우수한 아이디어를 생산했다.

네 대상 객체에 대한 의미적 거리 평균값 비교

참가자 구성: 영어 원어민 256명(여성 108명, 남성 145명, 평균 연령 30.4세)을 온라인 플랫폼 Prolific을 통해 모집하고 주의력 검사를 통과한 인원만 포함
AI 테스트: ChatGPT 3.5(3월 30일), ChatGPT 4(4월 5일), Copy.Ai(4월 1-2일) 각각 11세션에서 4개 객체(rope, box, pencil, candle)로 총 132개 관찰값 수집
대체 용도 과제(AUT) 설계: 일상 객체에 대한 창의적이고 독특한 용도 생성(30초 제한)
평가 방법:
- 의미적 거리 분석: 객체와 응답 간의 의미적 거리를 계산하여 독창성(originality) 정량화
- 인간 평가: 세 명의 맹검(blind) 평가자가 창의성, 구성, 가능성을 5점 척도로 평가
- 통제 변수: AI 응답의 어휘 수와 아이디어 개수를 인간의 중앙값(3개)에 맞춰 통제

최초의 정량적 비교: AUT 과제를 통해 의미적 거리라는 객관적 방법론과 주관적 인간 평가를 결합하여 인간-AI 창의성을 체계적으로 비교한 선도적 연구
이중 측정 체계: 계산 방법(semantic distance)과 인간의 심미적 판단을 함께 활용하여 창의성의 다층적 특성을 포착
분포 분석의 중요성: 평균 성능뿐 아니라 상위 성능(max scores)을 비교함으로써, 인간과 AI의 창의적 능력의 본질적 차이를 드러냄
이론적 시사: Guilford의 발산적 사고 모델과 연상 이론(associative theory)을 바탕으로 AI의 대규모 데이터베이스 접근 능력과 인간의 개념 연결 능력의 차이를 설명

표본 크기 제약: AI는 11세션(132개 관찰값)만 테스트되어 인간(256명, 1024개 관찰값)에 비해 샘플 크기가 작음. AI의 변동성을 더 포괄적으로 평가하기 위해 더 많은 세션이 필요할 수 있음
특정 객체 제한: 4개의 일상 객체만 사용했으므로, 추상적 개념이나 다른 범주의 객체에서 인간-AI 창의성의 차이가 어떻게 달라지는지 미지수
개인차 무시: 인간 참가자의 창의성 점수 분포가 넓은데, 인지 스타일, 경험, 교육 수준 등 개인 특성에 따른 변동이 분석되지 않음
시간 의존성: 2023년 초 AI 버전으로 테스트했으므로, 더 발전된 AI 모델에서는 결과가 달라질 가능성이 높음
후속 연구:
- 더 다양한 창의성 과제(예술 창작, 문제 해결)에서 인간-AI 비교
- 인간-AI 협업 시스템의 창의성 효과 평가
- 뇌 영상 연구로 인간의 창의적 사고 신경 기제 규명
- 사회문화적 요인이 창의성 평가에 미치는 영향 분석

총평: 본 연구는 AI와 인간 창의성의 관계를 정량적으로 규명한 중요한 실증 연구로, 평균적으로는 AI가 우수하지만 최고 수준의 인간 창의성은 여전히 독특한 가치가 있음을 보여준다. 다만 더 광범위한 과제와 표본에서의 검증과 시간에 따른 AI 발전 추적이 필요하다.

기반 연구

인간과 AI의 창의성 비교 연구가 과학 사회의 불문율 탐구를 위한 기초 연구

후속 연구

창의성 비교를 과학적 창의성과 아이디어 생성 능력 평가로 확장한 전문 분야 연구