Do Large Language Models Reduce Research Novelty? Evidence from Information Systems Journals

Essence

Figure 2. Event study coefficients for Post x Non-EDA interaction, relative to 2022. Pre-treatment coefficients

ChatGPT 출시 이후 대언어모델(LLM)이 연구 생산성을 높였지만, 의미론적 참신성(semantic novelty)은 감소했으며, 특히 영어 비주류국 소속 저자들에게서 더욱 뚜렷한 경향이 나타났다.

Known: LLM은 전문가들의 작성 속도를 40% 증가시키고 생산성을 8-13% 높였으나, 이러한 생산성 증가가 실질적인 지적 발전으로 이어지는지는 검증되지 않았다.
Gap: 기존 생산성 연구는 논문 수량과 품질만 측정하고, 아이디어의 참신성(novelty)이 실제로 증가했는지를 묻지 않았다. 특히 저자 집단 간 이질적 효과(heterogeneous effects)는 측정되지 않았다.
Why: 과학적 진보는 산출량이 아닌 참신한 아이디어 결합의 질에 달려 있으며, 이미 과학 시스템이 참신성을 페널티하는 상황에서 LLM이 추가적 수렴 압력을 가할 가능성이 있기 때문이다.
Approach: SPECTER2 임베딩을 이용한 의미론적 참신성 계산과 차분-차분(difference-in-differences) 설계를 통해 2022년 11월 ChatGPT 출시를 기준으로 영어 주류국(EDA) 대 비주류국(non-EDA) 저자 간 참신성 변화를 비교 분석했다.

Figure 3. Mean z-scored novelty by affiliation group and period. Non-EDA authors show higher baseline novelty

참신성 감소의 이질적 효과: 비영어 주류국 소속 저자의 상대적 참신성이 0.18 표준편차 감소 (beta = -0.176, p < 0.001), 즉 분포 상 7백분위포인트 하락
견고한 통계적 검증: 대안적 근처이웃값(nearest-neighbor), 다양한 처리 시점, 부분표본 제외, 사전 위약검정(placebo test)을 모두 통과
구성수준이론 기반 설명: LLM이 심리적 거리를 감소시켜 추상적·탐색적 사고에서 구체적·관습 추종적 실행으로 연구자의 인지방식을 전환한다는 메커니즘 제시

Figure 1. Research model. The main path captures the association between LLM availability and semantic novelty,

관찰 데이터 기반으로 LLM 실제 채택률(adoption rate)과 개별 사용 강도를 직접 측정하지 못함
구성수준 인지(construal level cognition)를 직접 관찰하지 않아 제안된 메커니즘이 인과적으로 확인되지 않음
정보시스템 저널만 분석하여 다른 학문 분야로 일반화 가능성 제한
후속 연구: (1) 개별 연구자 수준의 LLM 사용 로그 데이터 결합, (2) 인지 실험으로 구성수준 전환 메커니즘 검증, (3) 학제 간 비교 분석, (4) 시간 경과에 따른 적응 효과(adaptation) 모니터링