Introducing multiverse analysis to bibliometrics: The case of team size effects on disruptive research

Motivation

• Known: Wu et al. (2019)는 소규모 팀이 대규모 팀보다 혁신적 연구를 더 많이 생산한다고 주장했으나, Petersen et al. (2025)는 이를 반박하는 상충된 증거를 제시했다. 서지학적 분석에서 데이터 선택, 지표 구성, 모델링 결정 등 미묘한 선택이 결과에 큰 영향을 미친다.
• Gap: 기존 서지학 연구는 모델 불확실성(model uncertainty)을 체계적으로 측정하고 보고하는 관행이 부족하며, 표준 강건성 검사(robustness checks)는 모든 타당한 모델의 작은 부분집합만 다룬다.
• Why: 정책 입안자들이 혁신적 연구를 촉진하기 위해 소규모 또는 대규모 팀을 지원할지 결정할 때 신뢰할 수 있는 증거가 필요하며, 모델 선택이 결과에 미치는 영향을 투명하게 보여야 한다.
• Approach: 다중우주분석을 통해 Wu et al. (2019)와 Petersen et al. (2025)의 모델링 가정을 검토하고, 동등하게 타당한 모든 모델 사양의 집합을 구성하여 팀 규모의 건강한 영향을 평가한다.

Achievement

Figure 1 shows the range and the density of estimates from the multiverse of 180 equally

• 모델 불확실성 정량화: 다중우주분석을 통해 180개의 모델 사양에서 추정치의 범위와 밀도를 측정하여 모델 불확실성의 크기를 계량화
• 견고한 음의 효과 입증: 모델 사양에 관계없이 팀 규모가 혼란 지수(disruption scores)에 미치는 음의 효과가 견고함을 확인
• 효과 크기의 조건부 특성 발견: 효과 크기가 모델 사양에 따라 상당히 달라지므로 모델링 결정의 영향을 정량화
• 영향력 있는 모델링 결정 식별: 어떤 모델링 결정이 연구 결과에 가장 큰 영향을 미치는지 투명하게 공개

How

Figure 1 shows the range and the density of estimates from the multiverse of 180 equally

• 모델 불확실성 공간 정의: 데이터 선택, 지표 구성, 모델링 결정에서 동등하게 타당한 모든 모델 사양 M₁, ..., Mₖ를 구성
• 모델 표준편차 계산: 모든 모델에서 추정치 b₁, ..., bₖ의 분산 계산 (Eq. 1: VM = 1/K Σ(bₖ-b̄)²)
• 영향력 통계 분석: 제어변수 포함 여부에 따른 계수 변화(Δβ = β₁* - β₁)를 통해 각 모델링 결정의 한계 효과 측정
• 견고성 평가: 결과가 모델 사양 변화에 불변적인지 확인하여 연구 결론의 안정성 검증

Originality

• 다중우주분석의 서지학 최초 도입으로 기존 강건성 검사를 넘어 모든 타당한 모델 조합을 체계적으로 검토
• Wu et al. vs Petersen et al.의 상충된 결과를 단순히 일방을 선택하는 것이 아니라 모델 불확실성의 관점에서 통합적으로 해석
• 영향력 통계를 통해 어떤 모델링 결정이 얼마나 많은 불확실성을 야기하는지 정량적으로 식별

Limitation & Further Study

• 분석 범위: 팀 규모와 혼란 지수의 관계에만 초점을 맞추었으나, 다른 서지학적 질문에도 일반화 가능성 검증 필요
• 모델 사양 선택: 동등하게 타당한 모델의 정의가 주관적일 수 있으므로, 더 명확한 기준 개발 필요
• 인과관계 추론: 관측 데이터 기반의 분석으로 인과관계 도출에 한계가 있으며, 실험적 설계와의 비교 연구 필요
• 후속 연구: 다중우주분석 프레임워크를 다른 서지학 질문(저자 영향, 학제 간 협력 등)에 적용하여 방법론의 범용성 검증

Evaluation

총평: 본 논문은 서지학에 다중우주분석을 도입함으로써 모델 불확실성을 체계적으로 다루는 새로운 방법론을 제시하며, 상충된 선행 연구를 통합적으로 평가하여 서지학 연구의 투명성과 신뢰성을 크게 향상시킨다.