Relative Citation Ratio: A New Metric That Uses Citation Rates to Measure Influence at the Article Level

Essence

Fig 3. Algorithm for calculating the Relative Citation Ratio (RCR). (A) Article citation rate (ACR) is calculated as the

공동인용 네트워크(co-citation network)를 활용하여 논문의 인용 수를 분야별로 정규화한 상대인용률(RCR: Relative Citation Ratio)을 제안하고, 이를 통해 저널임팩트팩터(JIF)를 대체할 수 있는 논문 수준의 영향력 평가 지표를 개발했다.

Motivation

Known: 학술 생산성 평가에 저널임팩트팩터, h-지수 등의 지표가 광범위하게 사용되고 있으나, 이들 지표의 한계가 널리 인식되고 있다. 인용 수 정규화 방법들이 제안되어 왔으나 널리 채택되지 못했다.
Gap: 기존 지표들은 분야 간 비교의 어려움, 편향된 정규화, 벤치마킹 기능 부재 등의 문제를 가지고 있으며, 논문 수준에서 자동화되고 투명하며 신뢰할 수 있는 영향력 평가 지표가 부족하다.
Why: 연구비 배분 및 인사 채용 결정에서 객관적이고 공정한 평가 지표가 필요하며, 분야 간 비교 가능한 지표를 통해 다학제 연구 평가의 신뢰성을 높일 수 있다.
Approach: 각 논문의 공동인용 네트워크로부터 예상인용률(ECR: Expected Citation Rate)을 도출하고, 실제인용률(ACR: Article Citation Rate)을 ECR로 정규화하여 RCR을 계산한다. 동료 비교 집단(peer comparison group)에 대한 벤치마킹 기능을 추가하여 상대적 성과 비교를 가능하게 한다.

Achievement

Fig 4. RCRs correspond with expert reviewer scores. (A–C) Bubble plots of reviewer scores versus RCR for three different

공동인용 네트워크 기반 정규화: 논문과 함께 인용된 논문들의 네트워크를 이용하여 분야별, 시간별 정규화를 자동으로 수행
벤치마킹 기능 구현: 동료 비교 집단 대비 상대적 성과를 평가할 수 있는 통합 벤치마킹 시스템 개발
전문가 의견과의 상관성 검증: 88,835개 논문 분석을 통해 RCR이 주제 전문가 평가와 강한 상관관계를 보임을 입증
공개 도구 개발: iCite 웹 도구를 통해 PubMed의 모든 논문에 대한 RCR을 자유롭게 계산할 수 있도록 제공
다학제 적용 가능성: 생의학 분야에서의 검증을 통해 모든 학문 분야에 확장 가능성을 시사

How

Fig 1. Properties of co-citation networks. (A) Schematic of a co-citation network. The reference article (RA) (red, midd

공동인용 네트워크 구축: 각 논문이 참고문헌 목록에 함께 나타나는 논문들을 식별하여 네트워크 형성
텍스트 유사성 분석: TF-IDF(Term Frequency-Inverse Document Frequency) 기반 텍스트 유사성을 통해 분야 대표성 검증
예상인용률 계산: 공동인용 논문들의 인용 패턴으로부터 통계적 모델을 구축하여 ECR 도출
정규화 계산: RCR = ACR / ECR로 계산하여 분야-시간 표준화된 상대 인용 지표 산출
피어 벤치마킹: 비교 집단의 RCR 분포와 비교하여 백분위수 기반 상대 성과 평가
검증: NIH 수혜자의 논문들을 분석하여 문헌계량 결과와 전문가 검토 의견의 일치도 확인

Originality

공동인용 네트워크를 정규화 기준으로 활용하는 혁신적 접근 - 기존 연구에서는 저널 범주나 고정된 분류체계를 사용했음
동료 비교 집단 기반 벤치마킹 개념의 도입 - 기존 지표들은 전 세계 통합 평가만 제공했음
논문 수준의 실시간 자동화 시스템 구현 - 기존 방법들과 달리 대규모 확장성을 갖춘 실용적 도구 개발
선호적 부착(preferential attachment) 현상을 고려한 통계적 모델링

Limitation & Further Study

공동인용 네트워크 형성에 필요한 충분한 인용 이력 확보 시간으로 인해 최근 논문(1-2년)의 평가가 제한될 수 있음
생의학 분야 중심의 검증이 이루어졌으므로 다른 학문 분야에서의 일반화 가능성에 대한 실증적 확인 필요
자기인용(self-citation) 처리 방식에 대한 상세한 논의 부재
후속 연구: 인문사회과학, 공학 등 다양한 학문 분야에서의 RCR 적용 및 검증 필요
후속 연구: 시간에 따른 RCR 동적 변화 패턴 분석 및 예측 모델 개발
후속 연구: 학술 출판 플랫폼별(PubMed, arXiv, bioRxiv 등) RCR 계산의 일관성 검토

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 공동인용 네트워크를 활용한 혁신적 정규화 기법과 실용적 벤치마킹 시스템을 통해 학술 영향력 평가의 오랜 과제를 해결하는 중요한 기여를 한다. 공개 도구(iCite)를 통한 즉시 접근성과 전문가 의견과의 높은 상관성으로 인해 학술 평가 관행 개선에 실질적 영향을 미칠 수 있는 우수한 연구다.

같이 보면 좋은 논문

기반 연구

Theory and Practice of the g-index

g-index와 같은 기존 인용 지표의 한계를 극복하기 위한 새로운 정규화 방법론을 발전시킨 것이기 때문입니다.

다른 접근

An index to quantify an individual's scientific research output

h-index가 개별 연구자 평가에 초점을 맞춘 반면, RCR은 논문 수준에서 분야별 정규화를 통한 대안적 접근법을 제시하기 때문입니다.

다른 접근

An empirical analysis of open access citation advantages in library and information science

RCR이 분야별 정규화를 통한 일반적 접근법인 반면, 도서관정보학이라는 특정 분야에서 OA의 조건부 인용 효과를 실증하기 때문입니다.

후속 연구

Universality of citation distributions: Toward an objective measure of scientific impact

인용 분포의 보편성을 바탕으로 RCR처럼 분야 간 정규화된 비교가 가능한 실용적 지표로 발전시킨 것이기 때문입니다.