Coevolution of policy and science during the pandemic

Motivation

• Known: 과학과 정책 간 연결 부족이 오래된 우려사항이며, 정책결정자들이 견고한 과학적 아이디어와 미검증된 결과를 구분하기 어려울 수 있다는 우려가 있다.
• Gap: 대규모 글로벌 스케일에서 과학과 정책의 공진화(coevolution)를 신뢰성 있게 추적하고 이해하는 시스템적 연구가 부족하다.
• Why: 팬데믹은 동적이고 불확실하며 결과가 크리티컬한 정책 환경을 제공하며, 정책이 과학을 얼마나 활용하는지 이해하는 것은 위기 대응 효과성 평가에 필수적이다.
• Approach: Overton(정책 문서) 및 Dimensions(과학 출판 및 인용) 두 대규모 데이터베이스를 결합하여 37,725개의 정책 문서와 과학 논문 간 인용 관계를 분석했다.

Achievement

• 정책의 과학 활용: COVID-19 정책 문서의 19.9%가 2020년에 발행된 최신 과학을 인용하며, 이는 다른 정책 문서 대비 10배 이상 높은 수치이다.
• 과학 품질 보증: 정책 문서에 인용된 과학 논문은 인용되지 않은 논문 대비 평균 40배 많은 학술 인용을 받아, 정책이 과학계 내 영향력 높은 연구를 선택함을 입증한다.
• 동료검증의 우선: 비록 사전출판서(preprint)가 COVID-19 논문의 대부분을 발행했음에도, 정책 문서는 Lancet 등 상위급 동료검증 저널을 불균형적으로 인용한다.
• 정책 우선순위의 진화: 초기(1-2월)에 90%의 정책이 보건/과학 분야 문제에 집중했으나, WHO 팬데믹 선언 이후 경제/사회 분야로 정책 관심이 이동했다.
• 기관별 이질성: 세계보건기구(WHO) 등 국제기구(IGOs)가 과학 인용에 매우 적극적인 반면, 국가정부는 주로 국제기구를 통해 간접적으로 과학을 소비한다.

How

• Overton 데이터베이스에서 114개 국가와 55개 국제기구의 37,725개 정책 문서 수집 (2020년 1월 2일-5월 26일)
• COVID-19 관련 정책 문서를 키워드 필터링으로 7,730개 식별
• Dimensions 데이터베이스와 연계하여 정책 문서 내 과학 논문 참고문헌 매칭
• 인용 분석(citation analysis)을 통해 정책 인용 논문과 미인용 논문의 과학적 임팩트 비교
• 출판 장소(peer-reviewed journal vs. preprint server)별 정책 인용 패턴 분석
• 21일 이동평균(moving average)을 이용한 정책 문서의 주제 분야 변화 추적
• 시계열 분석으로 정책 문서 비율과 전 세계 확진 사례 수의 동기화 검증

Originality

• 글로벌 스케일에서 정책과 과학 간 상호작용을 직접적으로 매핑한 최초의 대규모 실증 연구
• 두 공동체" 이론(two communities theory)을 팬데믹 상황에서 실제 데이터로 검증하고 반박
• 정책-과학 인용 네트워크를 통해 기관별(국가 vs. 국제기구) 과학 활용 패턴의 이질성 발견
• 빠르게 변화하는 팬데믹 정책 환경에서 peer-reviewed 과학이 preprint보다 우선된다는 실증적 증거 제시

Limitation & Further Study

• 중국 본토 데이터 부재로 세계 인구의 약 1/3, GDP의 약 20% 미포함
• 정책 문서의 과학 인용이 실제 정책 결정에 미친 인과적 영향 미측정 (인용이 참고를 의미하지 않을 수 있음)
• 정책 효과성(팬데믹 억제)과 과학 활용 간의 인과관계 미규명 - 저자들도 "충분조건이 아님"을 인정
• 2020년 5월까지의 초기 데이터만 포함하여 장기적 정책-과학 상호작용 변화 미관찰
• 비영어권 정책 문서의 과소 표현 가능성
• 후속연구: 정책 인용이 실제 정책 행동으로 이어지는 메커니즘 연구, 장기 추적 분석, 정책 효과성과의 연계 분석 필요

Evaluation

총평: 본 연구는 대규모 데이터 통합을 통해 과학-정책 연결에 관한 오래된 회의론을 실증적으로 반박하며, 팬데믹 대응에서 정책이 실제로 최신 동료검증 과학을 우선적으로 활용함을 명확히 보여준다. 다만 인용의 실제 영향력과 정책 효과성과의 연계 분석이 추가되면 더욱 설득력 있을 것이다.