Hierarchical Classification of Research Fields in the "Web of Science" Using Deep Learning

Motivation

• Known: 학문 분야의 계층적 분류는 학자 평가, 자금 배분, 학제간 연구 측정 등에서 중요하나, 기존에는 경제학(JEL), 컴퓨터과학(ACM), 물리학(PACS) 등 개별 분야별 분류체계만 존재했다.
• Gap: 전 학문분야를 아우르는 통일된 계층적 분류 시스템이 부재하며, 특히 학제간 및 필드간 중복 분류를 지원하는 시스템이 없다.
• Why: 학문 분야의 명확한 경계 설정과 자동 분류는 학자 경력 선택, 연구비 배분 기관의 의사결정, 학제간성 측정, 정규화된 영향도 분석을 가능하게 한다.
• Approach: Microsoft Academic Graph의 초록과 기존 학문분류체계(Wikipedia, JEL, ACM, PACS)를 연결하여 지도학습으로 훈련하고, CNN, RNN, Transformer 등 신경망 모델을 비교 실험하여 최적의 계층적 다중분류 시스템을 구축했다.

Achievement

Fig. 4 Distributions of total papers, number of fields and their ratio in 44 disciplines.

• 대규모 다계층 분류 시스템 구축: 44개 학문분야-718개 필드-1,485개 세부분야의 3단계 계층 분류
• 높은 분류 정확도: 단일 레이블 77.13%, 다중 레이블 78.19%에서 90% 이상의 정확도 달성
• 학제간 분류 지원: 논문이 여러 분야에 동시에 속할 수 있는 다중 레이블 설정으로 학제간성(interdisciplinarity) 포착
• 모듈식 구조로 확장성: 개별 학문분야별 독립적 재훈련 가능하여 지속적 업데이트 용이
• 3,140회 포괄적 실험: 다양한 신경망 아키텍처와 평가 지표(정확도, 정밀도, 재현율)로 성능 검증
• 공개 코드베이스: 재현성과 향후 활용을 위해 전체 분류 시스템을 공개

How

Fig. 2 Discipline (JEL) publication mapping using FOS tags from MAG.

• Microsoft Academic Graph(MAG v2018-05-17)에서 1.6억 개 초록 데이터 수집
• Wikipedia, JEL(경제학), ACM(컴퓨터과학), PACS(물리학)의 기존 분류체계와 MAG의 Field of Study(FOS) 태그 연결
• 44개 학문분야별로 정제된 훈련 데이터셋 구축 (데이터 불균형 및 클래스 혼동 문제 대응)
• Convolutional Neural Networks(CNN), Recurrent Neural Networks(RNN), Transformer 모델 구현
• 배치 훈련을 이용한 모듈식 분산 학습: 학문분야 → 필드 → 세부분야의 계층적 순차 훈련
• 단일 레이블(각 논문이 하나의 경로만 할당)과 다중 레이블(여러 경로 동시 할당) 설정으로 이원 평가
• 정확도, 정밀도, 재현율(precision, recall) 등 성능 지표로 종합 평가

Originality

• 전 학문분야를 아우르는 최초의 통일된 계층적 분류 온톨로지 개발
• 학제간 연구를 포착하기 위해 다중 레이블 분류를 명시적으로 지원하는 설계
• 기존 학문별 분류체계(JEL, ACM, PACS 등)를 통합하여 크로스 검증하는 방법론 제시
• 모듈식 계층 구조로 시간에 따른 지속적 업데이트와 선택적 재훈련 가능하게 설계
• 대규모 데이터(1.6억 개 초록)에서의 실용적 구현과 성능 검증

Limitation & Further Study

• 초록(abstract) 텍스트만 사용하여 제목, 키워드, 본문 내용의 추가 정보 활용 미흡
• MAG 데이터의 FOS 태그 자체가 불완전하거나 편향될 가능성이 원본 훈련 데이터의 품질 제약
• 클래스 불균형(특정 분야의 과다 표현) 문제가 완전히 해결되지 않아 소수 분야의 성능 저하 가능성
• 논문 발표 시점과 학문 분류 체계의 변화 간 시차로 인한 시간적 부조응 가능성
• 후속 연구: 본문, 키워드, 저자 정보 등을 활용한 다중 모달 학습 적용 검토
• 후속 연구: 약한 감독(weak supervision)이나 자기 지도 학습(self-supervised learning)을 통해 레이블 노이즈 대응
• 후속 연구: 시간 경과에 따른 분류 시스템의 동적 갱신 및 학문 분야 경계 변화 추적 메커니즘 개발

Evaluation

총평: 본 논문은 전 학문분야를 포괄하는 첫 통일 계층 분류 시스템으로, 학제간 연구 측정과 학문 활동의 자동 색인화에 실질적 기여를 한다. 1.6억 규모 데이터와 3,140회 실험을 통한 강건한 검증과 공개 코드베이스로 높은 재현성과 실용성을 제공한다.