Evaluating the Replicability of Social Science Experiments in Nature and Science

Motivation

• Known: 심리학의 재현성 프로젝트(RPP)는 100개 연구 중 36%만 재현되었고, 경제학 재현 프로젝트(EERP)는 18개 실험 중 61%가 재현되어 출판 편향(publication bias)과 효과크기 부풀림 문제가 제기되었다.
• Gap: 최상위 저널(Nature, Science)에 발표된 사회과학 실험의 재현성에 대한 체계적 증거가 부족하며, 원래 효과크기의 감소가 통계적 우위 부족에서 비롯된 것인지 아니면 다른 원인인지 명확하지 않다.
• Why: 과학적 발견의 신뢰성은 과학 진전의 핵심이며, 최고 권위 저널의 재현성 평가는 연구 커뮤니티의 신뢰성과 방법론 개선에 필수적이다.
• Approach: 2010-2015년 Nature와 Science의 사회과학 실험 중 조건을 만족하는 21개 연구를 선별하여 원저자 검토를 거친 분석 계획과 사전 등록(pre-registration)으로 원래 효과크기의 75% 검출을 위한 90% 통계력(stage 1)과 50% 검출을 위한 고전력 설계(stage 2)로 재현을 진행했다.

Achievement

Fig. 1 | Replication results after stage 1 and stage 2. a, Plotted are the 95% CIs of the replication effect sizes (stan

• 재현율 62%: 21개 연구 중 13개(62%)가 원래와 동일 방향의 유의미한 효과 도출
• 효과크기 감소: 재현된 연구의 평균 효과크기는 원래의 약 50% 수준으로 감소
• 다중 지표 일관성: 메타분석, 예측 구간, Bayes factor 등 6가지 보완적 지표에서 재현성 12-14개(57-67%) 범위 확인
• 참 양성율 67%: Bayesian 분석으로 추정된 참 양성 비율이 67%, 참 양성의 상대 효과크기 71%
• 커뮤니티 예측력: 동료 과학자들의 재현성 신뢰도가 실제 재현성과 강하게 연관되어 연구 커뮤니티가 문제 있는 결과를 식별할 수 있음을 시사

How

• 체계적 기준에 따른 21개 논문 선정: (1) 피험자 간/내 실험 설계, (2) 명확한 가설 및 유의미한 결과, (3) 학생/접근 가능한 표본
• 각 논문에서 재현 대상 선정: (a) 첫 번째 유의미한 결과, (b) 가장 중요한 것으로 표시된 결과, (c) 동등하면 무작위 선정
• 2단계 고전력 설계: Stage 1에서 원래 효과크기의 75% 검출 90% 통계력(평균 3배 표본), Stage 2에서 50% 검출 90% 통계력(평균 6배 표본)
• 사전 등록 및 투명성: 분석 계획을 원저자에게 검토받고 Open Science Framework에 사전 등록, 프로토콜 편차 기록
• 다중 재현성 지표: 통계적 유의성(주 지표), 상대 효과크기, 메타분석, 예측 구간, small telescopes, Bayes factor, Bayesian mixture model, 동료 신뢰도

Originality

• 최상위 종합학술지(Nature, Science)의 사회과학 실험을 체계적으로 재현한 최초의 대규모 프로젝트
• 50% 효과크기 검출을 기준으로 한 고전력 설계로 출판 편향과 효과크기 부풀림 문제를 구체적으로 평가
• 사전 등록과 원저자 피드백을 포함한 투명성 강화 프로토콜 도입
• 6가지 보완적 재현성 지표와 Bayesian 분석으로 이진적 판단을 넘어 재현성의 연속적 평가 수행
• 예측 시장(prediction market)과 설문을 통해 커뮤니티 신념과 실제 재현성의 관계 정량화

Limitation & Further Study

• 21개 표본 크기로 일반화 가능성 제한: 특정 시기(2010-2015) 특정 저널의 선별된 연구만 포함
• 재현성 지표의 다양성으로 인한 해석 복잡성: 62% vs 57-67% 범위 등 기준에 따른 불일치
• 원저자 미참여: 원저자와 재현 연구자의 관계 부재로 인한 맥락 정보 손실 가능성
• 특정 표본 풀 편향: 학생 표본이나 접근 가능한 피험자 중심으로 사회경제적 다양성 제한
• 후속연구: (1) 비WEIRD 표본의 재현성 평가, (2) 개입적(interventional) 설계 vs 관찰적 설계 비교, (3) 재현 실패의 구체적 메커니즘 규명, (4) 시간 경과에 따른 효과크기 변화 추적

Evaluation

총평: 이 연구는 최고 권위 저널의 사회과학 실험이 예상보다 낮은 재현율(62%)과 감소된 효과크기(50%)를 보임을 체계적으로 입증하여 과학 출판과 방법론의 신뢰성 문제를 중요하게 조명했으며, 사전 등록과 투명한 재현 프로토콜이 과학 커뮤니티 표준이 되도록 기여한 중요한 메타과학 연구이다.