Updated science-wide author databases of standardized citation indicators

Motivation

• Known: 과학자의 학술적 영향력을 측정하기 위해 h-지수 등 다양한 인용 지표가 사용되어 왔으며, 이전 연구에서 과학 분야별 표준화된 인용 지수 데이터베이스가 개발되었다.
• Gap: 기존 데이터베이스는 인용 밀도가 낮은 분야의 상위 과학자를 충분히 포함하지 못했으며, 다학제 저널의 분류가 불완전했다.
• Why: 표준화된 인용 지표 데이터베이스는 과학자의 학술적 기여도를 공정하게 평가하고 분야별 비교를 가능하게 하며, 자기인용 조작 등 부정 행위를 탐지하는 데 중요하다.
• Approach: Scopus 데이터를 업데이트하고 머신러닝(character-based CNN)을 사용하여 다학제 저널을 정확히 분류하며, 분야별 상위 2% 과학자를 추가로 포함한 포괄적 데이터베이스를 구축했다.

Achievement

• 업데이트된 데이터베이스 공개: 2019년 말까지의 경력 전체 및 2019년 단일 연도 인용 영향도를 포함한 두 가지 버전의 표준화된 인용 지표 데이터베이스를 Mendeley에서 자유롭게 제공
• 분야별 포괄성 개선: 상위 100,000명에 포함되지 않은 저인용 밀도 분야의 과학자 중 상위 2%를 추가하여 모든 분야의 주요 연구자 포함
• 정확한 저널 분류: Character-level CNN을 사용하여 백만 개 이상의 항목으로 학습한 모델로 다학제 저널을 정확히 분류(정확도 98.1%, 재현율 94.4%)
• 자기인용 분석 강화: 자기인용 포함/제외 상황에서의 순위를 모두 제공하고 자기인용 비율 및 인용 대 인용자 논문 비율의 백분위수 임계값 제공
• 투명한 방법론: 합성 지수 계산 공식을 명시하고 최대값 로그 테이블을 제공하여 재현 가능성 확보

How

• Scopus 데이터베이스에서 2020년 5월 6일 기준 인용 데이터 수집
• Science-Metrix 분류 체계를 기반으로 학문 분야 및 세부분야 분류
• 기존에 분류되지 않은 다학제 저널에 대해 character-based CNN 머신러닝 모델 적용
• NC, H, Hm, NCS, NCSF, NCSFL의 6가지 인용 지표를 정규화하여 합성 지수(composite index) 계산
• 경력 전체 및 2019년 단일 연도에 대해 25th, 50th, 75th, 90th, 95th, 99th 백분위수 임계값 계산
• 자기인용 포함 및 제외 상황에서의 순위와 분야별 총 저자 수 제공
• Scopus ORCID 피드백 마법사를 통해 프로필 정정 메커니즘 구축

Originality

• 저인용 밀도 분야의 과학자를 포함하기 위해 분야별 상위 2% 기준을 도입한 창의적 방법론
• 다학제 저널 분류에 character-level CNN을 처음으로 적용하여 자동 분류 정확도 향상
• 자기인용 조작을 탐지하기 위해 자기인용 비율과 인용-인용자 논문 비율 임계값을 명시적으로 제공
• 완전히 공개되고 업데이트 가능한 데이터베이스 구조로 지속적인 개선 가능성 확보

Limitation & Further Study

• 분야 내에서도 세부 영역별 인용 밀도 차이가 존재하므로 같은 분야 내 비교도 주의 필요
• 저자 프로필의 정확도가 98.1% 정밀도, 94.4% 재현율로 완벽하지 않으며 수정 메커니즘에 의존
• 자기인용 비율이 높거나 인용-인용자 비율이 높은 경우의 정당성을 판단하기 위해서는 개별 사례 검토 필요
• 머신러닝 기반 저널 분류의 성능이 다른 방법들에 비해 우수하지만 여전히 오류 가능성 존재
• 후속 연구: 분야별 인용 관행의 차이를 더 세밀하게 모델링하고, 자기인용 조작의 정량적 탐지 방법 개발 필요

Evaluation

총평: 본 논문은 과학자의 학술적 영향력을 측정하기 위한 표준화된 인용 지표 데이터베이스의 중요한 업데이트를 제공하며, 머신러닝을 활용한 분류 개선과 자기인용 분석 강화로 학술 평가의 투명성과 공정성을 크게 향상시킨다. 완전히 공개된 데이터와 명확한 방법론으로 학술 커뮤니티에 실질적인 기여를 한다.