Visualizing the context of citations referencing papers published by Eugene Garfield: a new type of keyword co-occurrence analysis

Motivation

• Known: 기존 키워드 동시출현 네트워크는 제목, 초록, 저자 키워드 리스트에서 추출한 키워드를 기반으로 하고 있다. 인용 맥락 분석은 과거 20년 이상 전의 선행 연구들이 주를 이루었으며, 최근에 big scholarly data를 활용한 대규모 인용 맥락 분석이 증가하고 있다.
• Gap: 인용 맥락을 데이터 소스로 하는 키워드 동시출현 네트워크는 이전에 시도된 적이 없으며, Microsoft Academic과 같이 세분화된 인용 맥락을 직접 다운로드할 수 있는 대규모 학술 데이터베이스의 활용이 제한적이었다.
• Why: 인용(citation)이 인용된 논문에서 인용하는 논문으로의 인지적 영향을 반영한다는 전제하에 인용 맥락 분석은 인용 기반 연구평가의 타당성을 검증하는 데 중요하며, 이를 네트워크 시각화로 표현하면 학술 영향력을 더욱 효과적으로 파악할 수 있다.
• Approach: Microsoft Academic에서 Eugene Garfield의 논문들을 인용한 343개 논문의 428개 인용 맥락을 추출하고, (1) Garfield 논문의 제목/초록 키워드 네트워크, (2) 인용 논문들의 제목/초록 키워드 네트워크, (3) 인용 맥락 기반 키워드 네트워크 등 3개 네트워크를 VOSviewer로 생성하여 비교 분석한다.

Achievement

Fig. 3 Co-occurrence of keywords in citation contexts of papers referencing Eugene Garfield

• 인용 맥락 기반 새로운 네트워크 유형 개발: 기존에 시도되지 않은 인용 맥락의 단어들을 기반으로 한 키워드 동시출현 네트워크를 최초로 개발하였다.
• 의미론적 유사성 발견: Garfield의 논문과 이를 인용한 논문들의 인용 맥락이 인용 논문들의 제목/초록보다 의미론적으로 더 밀접한 관련성을 가짐을 발견하였다.
• 인용 기반 연구평가 정당성 검증: 인용이 인용된 논문의 인지적 영향을 반영한다는 가정이 실증적으로 지지됨을 보여주었다.
• 대규모 인용 맥락 데이터 활용: Microsoft Academic의 세분화된 인용 맥락 데이터(428개 인용 맥락)를 활용한 최초의 대규모 자동화 분석을 수행하였다.

How

• Microsoft Academic의 Academic Knowledge API를 통해 Garfield의 1558개 논문 중 327개를 검색하고 인용 논문 데이터 수집
• 인용 맥락이 이용 가능한 59개 논문과 343개 인용 논문의 제목, 초록 정보를 Web of Science에서 검색
• VOSviewer의 텍스트 마이닝 기능을 사용하여 (1) Garfield 논문의 제목/초록, (2) 인용 논문의 제목/초록, (3) 인용 맥락에서 명사와 형용사 키워드 추출
• 이진 계수(binary counting) 사용, 최소 4회 이상 출현 키워드, 상위 60% 관련성 키워드 포함 기준으로 동시출현 네트워크 생성
• VOSviewer의 클러스터링 함수를 통해 키워드들을 해석 가능성 기준으로 그룹화하고 시각화

Originality

• 인용 맥락(citation context)을 키워드 동시출현 네트워크의 데이터 소스로 사용한 최초의 연구이다.
• 세분화된 인용 맥락을 직접 다운로드할 수 있는 Microsoft Academic의 신규 기능을 활용한 최초의 대규모 연구이다.
• 인용 맥락 기반 네트워크와 제목/초록 기반 네트워크를 비교분석하여 인용의 인지적 영향 반영 메커니즘을 실증적으로 검증했다.
• Garfield의 1500개 논문이라는 광범위한 학술 업적을 사례로 선택하여 방법론의 적용 가능성과 의의를 잘 입증했다.

Limitation & Further Study

• Microsoft Academic에서 Garfield의 1558개 논문 중 327개(21%)만 검색되어 대표성 이슈가 존재한다.
• 인용 맥락이 이용 가능한 59개 논문만 분석에 포함되어 표본 크기가 상대적으로 작다.
• VOSviewer의 자동 클러스터링이 해석 가능성 기준으로만 조정되어 객관적 검증 기준이 부족할 수 있다.
• 인용 맥락의 단어들이 저자 이름 등 구조적 요소를 완전히 제거하지 못했을 가능성이 있다.
• 후속연구에서는 다양한 학자의 논문을 대상으로 방법론을 확대 적용하고, 자연언어처리(NLP) 기술로 인용 맥락의 감정 및 기능(예: 부정적 인용)을 분석해야 한다.

Evaluation

총평: 인용 맥락 기반 키워드 동시출현 네트워크라는 새로운 분석 방법을 제안하고, 인용이 인용된 논문의 인지적 영향을 반영한다는 이론을 실증적으로 검증한 의미 있는 연구이다. 다만 표본 크기 제약과 Microsoft Academic의 불완전한 데이터 커버리지를 개선하면 더욱 강력한 연구가 될 수 있다.