Robust Evidence for Declining Disruptiveness: Assessing the Role of Zero-Backward-Citation Works

Essence

Figure 1: Declining Disruptiveness Matches Major Benchmark Transformations in Science After Excluding Zero-

Park et al.의 과학 파괴성(disruptiveness) 감소 연구에 대한 Holst et al.의 비판에 대응하며, 영인용(zero-backward-citation) 논문을 제외해도 실질적이고 통계적으로 유의미한 감소가 나타남을 보여준다.

Known: 과학의 파괴성이 감소하고 있다는 현상이 보고되었으나, 이것이 영인용 논문 포함의 아티팩트일 수 있다는 비판이 제기되었다.
Gap: Holst et al.의 비판에서 제시된 회귀모델과 데이터셋의 품질 문제에 대한 체계적인 검증과 대응이 부족했다.
Why: 과학의 파괴성 감소 현상이 실제인지 측정 아티팩트인지 판단하기 위해서는 메타데이터 품질 문제를 엄밀히 검증하고 비판자의 방법론으로 재검증해야 한다.
Approach: 비판자(HATWG)가 주장하는 데이터셋, 지표, 영인용 배제 기준을 그대로 적용하면서 동시에 HATWG의 회귀모델을 사용하여 결과의 견고성을 검증한다.

실질적 유의성 확인: HATWG의 권장 데이터셋(SciSciNet)과 지표로 영인용 논문 제외 후에도 1945-2010년 사이 파괴성이 15.53 백분위 포인트 감소하며, 이는 여성 참여 증가(13.56점)나 인용 참고문헌 연대 증가(13.21점)와 유사한 규모의 과학 변화에 해당
통계적 유의성 확인: HATWG의 회귀모델(영인용 논문 지표 포함)을 적용해도 논문과 특허 모두에서 p<0.001 수준의 고도로 유의미한 감소가 지속되며, 이는 HATWG의 보충자료에 보고되었으나 미해석됨
데이터 품질 문제 규명: HATWG의 SciSciNet 데이터에는 우리 데이터셋보다 3배 많은 영인용 작업물이 포함되어 있으며, 이는 약 280만 편의 사설/논평, 150만 건의 도서/학술대회 자료, 25만 4천 건의 제품/예술 평론(표본의 20%)으로 추적됨
아티팩트 규명: 비연구 콘텐츠(For Dummies 456권, Dr. Seuss 26권, Captain Underpants 시리즈 등)가 1945-2010년 사이 표본에서 40%에서 8%로 감소한 것이 HATWG가 우리 연구의 메타데이터 오류라고 주장하는 영인용 작업물 감소를 설명
광범위한 근거 기반: 거의 100개 연구가 여러 데이터베이스(Web of Science, OpenAlex, SciSciNet, Dimensions, PubMed, USPTO), 지표, 비인용 측도를 사용하여 파괴성 감소를 문서화

HATWG의 권장 데이터셋(SciSciNet의 사전계산된 파괴성 점수)을 활용하여 영인용 논문 제외 후 트렌드 분석
파괴성 지표를 백분위로 정규화하여 Wang and Barabasi의 과학 벤치마크(팀 규모, 여성 참여, 국제 협력 등)와 비교
HATWG의 회귀모델(Publication-year 지표 + 영인용 논문 지표)을 원본 WoS/PatentsView 데이터에 적용하여 통계적 유의성 검증
SciSciNet 데이터를 외부 서지 데이터베이스와 링크하여 문서 유형 분류, 보수적 추정으로 비연구 콘텐츠 규모 파악
제목 키워드 검색으로 For Dummies, Dr. Seuss 등 비연구 콘텐츠의 존재 확인
1945-2010년 기간에 비연구 콘텐츠의 비율 변화(40%→8%)가 영인용 작업물 감소를 설명하는지 검증

비연구 콘텐츠의 280만 건은 '보수적 추정'이므로 정확한 규모가 불확실할 수 있음", '영인용 논문을 이론적으로 정당화하지만, 파괴적 혁신에서 이들이 얼마나 중요한지에 대한 정량적 근거는 부족
SciSciNet 데이터의 질적 문제를 지적하지만, 우리 데이터셋(WoS)의 유사한 문제 가능성에 대한 검토 불충분
후속 연구: 여러 데이터베이스의 문서 유형 분류 기준 표준화 필요, 비연구 콘텐츠 자동 감지 알고리즘 개발, 영인용 논문의 파괴성 기여도에 대한 상세 분석

Novelty: 3/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 과학 계량 분석에서 메타데이터 품질과 방법론의 중요성을 명확히 드러내며, 비판자의 회귀모델 자체가 원래 주장을 반박하는 결과를 제시함으로써 과학의 파괴성 감소라는 원본 연구의 견고성을 강하게 재확인한다.

응용 사례

과학 발견의 메커니즘을 파괴성 지표를 통해 정량적으로 검증하는 SciSci의 실증 사례이다.

반론/비판

과학 파괴성이 감소한다는 주장이 비전형적 조합의 영향력과 상반되는 현상을 보여준다.

반론/비판

비전형적 조합의 높은 영향력과 전반적 과학 파괴성 감소라는 상반된 현상을 보여준다.