Directed criteria citation recommendation and ranking through link prediction

Motivation

• Known: 트랜스포머 기반 그래프 신경망(Graph Attention Network)이 여러 그래프 관련 작업에서 우수한 성능을 보임
• Gap: 신용평가기관의 평가 기준 문서 간 인용 관계의 일관성 유지를 위해 누락되거나 암묵적인 인용을 자동으로 발굴할 수 있는 체계적인 방법이 부재함
• Why: 신용평가 과정의 정확성을 위해 기준 문서들 간 인용 그래프를 최신 상태로 유지하는 것이 매우 중요함
• Approach: 인용 네트워크의 문서 노드를 트랜스포머 기반 그래프 임베딩으로 인코딩한 후, 링크 예측을 통해 새 문서의 관련 인용을 추천하고 순위 지정

Achievement

그림 2: 주제 영역별로 색칠된 임베딩(t-SNE 투영)

1. 성능 향상: TF-IDF 기준 대비 MAP 10.5% → 25.4%, MAR 34.6% → 65.3% (k=20 기준) 달성
2. 그래프 구조의 효과성: 그래프 정보를 활용한 모델이 콘텐츠 기반 방법을 크게 상회하는 성능 입증
3. 임베딩 품질: 주제 영역별 자기조직화(self-organization)를 통해 도메인 내 및 도메인 간 인용 패턴 자동 포착

How

그림 3: 주제 영역별로 정렬된 실제 교차참조 행렬

그림 4: 50% 임계값으로 설정된 예측 교차참조 행렬

모델 아키텍처:

• 초기 임베딩: 300차원 정규화 TF-IDF 벡터를 64차원 밀집 벡터로 압축
• 그래프 층(Graph Layer): 2개 층 적층으로 2-홉 부분그래프 정보 캡처
• 다중헤드 어텐션: 8개 헤드 사용, ELU 활성화함수 적용
• 학습된 잔차(Learned Residual): 첫 번째 잔차 연결에 어텐션 메커니즘 적용하여 이웃 노드의 영향력 제어
• 이중선형 점수 함수(Bilinear Scoring): 비대칭 방향성 인용 행렬 생성을 위해 $f(e_i, e_j) = e_i^T W_b e_j$ 사용

학습 설정:

• 훈련 세트: 1,472개 노드(65.5%), 검증 세트: 260개 노드(11.6%)
• 음수 샘플링으로 희소 행렬의 불균형 문제 해결
• Adam 옵티마이저(α=0.001), 1,920 업데이트

Originality

• 신용평가 기준 문서라는 특정 도메인에 링크 예측을 처음 적용한 실무 사례 제시
• 학습된 잔차 메커니즘을 그래프 어텐션에 결합하여 노드 자체의 정보와 그래프 구조 간 영향력 균형 제어
• 방향성 인용을 위해 이중선형 점수 함수 도입으로 대칭성 문제 해결
• 링크 예측이 인용 추천뿐 아니라 도메인 간 교차 오염(cross-pollination) 분석에도 활용 가능함을 시연

Limitation & Further Study

• 데이터 규모 제한: 2,247개 문서(13,959개 인용)로 상대적으로 작은 규모의 데이터셋 사용
• 평가 지표 한계: MAP/MAR만으로는 추천의 맥락적 관련성 평가 부족; 도메인 전문가의 정성적 평가 필요
• 임계값 민감도: 50% 임계값에서 3.5%의 매우 낮은 추천 비율로, 실무 적용 시 임계값 선택이 중요
• 후속 연구: 비즈니스 관계(business relationships) 및 공급망 네트워크(supply chain networks)와 같은 다른 도메인으로 확대 적용

Evaluation

총평: 신용평가 기관의 실무 문제를 그래프 신경망으로 효과적으로 해결한 응용 사례이나, 학술적 혁신성은 제한적이며 평가의 엄밀성과 비교 대상의 다양성을 강화할 필요가 있다.