Enhancing natural language inference performance with knowledge graph for covid-19 automated fact-checking in indonesian language

Motivation

• Known: 자동 팩트체킹 시스템은 사전학습 언어모델(Pre-trained Language Models, PLMs)을 활용한 NLI 기법을 통해 정보의 진위를 검증할 수 있으며, 깊은 학습 방식이 전통적 접근법보다 우수한 성능을 제공한다.
• Gap: 깊은 학습 모델에서 성능 정체(performance stagnancy) 문제가 발생하는데, 이는 학습 단계에서 충분한 특정 지식의 부족으로 인한 것으로 추정된다. 저자원 언어인 인도네시아어의 경우 이 문제가 더욱 심각하다.
• Why: 팩트체킹에서 정보의 진위는 특정 시점의 지식에 의존하며, 외부 지식을 주입하여 모델 성능을 향상시킬 필요가 있다.
• Approach: COVID-19 관련 도메인 특화 지식 그래프(COVID-19 KG Bahasa Indonesia)를 외부 지식으로 활용하여 NLI 기반 팩트체킹 모델에 통합한다.

Achievement

그림 2: 세 개 모듈(NLI, 팩트, 분류기)로 구성된 제안 모델

1. 데이터셋 구축: 18,750개의 전제-가설 문장 쌍으로 구성된 인도네시아어 COVID-19 팩트체킹 데이터셋 생성 (엔테일먼트, 모순, 중립 3개 레이블)
2. 모델 성능: 지식 그래프 통합을 통해 최대 0.8616의 정확도 달성, NLI 성능을 유의미하게 개선
3. 다중 언어모델 평가: 단일언어(monolingual) 및 다중언어(multilingual) 사전학습 언어모델에 대한 실험 수행으로 제안 아키텍처의 일반성 검증

How

그림 3: 지식 그래프 트리플렛에서 팩트 문장으로의 변환 프로세스

• 3모듈 아키텍처:
  • NLI 모듈: 전제(premise)와 가설(hypothesis) 문장 간의 의미적 관계 처리
  • 팩트 모듈: 지식 그래프에서 검색된 정보 처리
  • 분류기 모듈: 두 모듈의 표현 벡터 결합 후 최종 출력 생성
• 지식 처리 메커니즘:
  • 단어 매칭 기반 검색(word-matching retrieval) 활용
  • KG 트리플렛 {e₁, r, e₂}를 팩트 문장으로 변환
  • 여러 팩트 문장을 단일 팩트 단락(fact paragraph)으로 통합
• 표현 학습: 임베딩 기반 방법과 검색 기반 방법의 강점을 결합한 하이브리드 접근
• 훈련 및 추론: 생성된 인도네시아 COVID-19 팩트체킹 데이터셋과 COVID-19 KG Bahasa Indonesia를 활용한 모델 훈련

Originality

• 저자원 언어(인도네시아어)에 대한 COVID-19 특화 팩트체킹 연구로, 기존 대부분의 연구가 영어 중심인 점을 보완
• 도메인 특화 지식 그래프의 실질적 활용으로 표현 학습과 검색 기반 방법의 장점을 통합한 실용적 하이브리드 접근
• 18,750개 규모의 구조화된 인도네시아어 COVID-19 팩트체킹 데이터셋 생성으로 향후 연구를 위한 기초 자료 제공

Limitation & Further Study

• 제한점:
  • 팩트 단락 생성에 단순한 단어 매칭 검색만 활용하여 복잡한 의미관계 포착에 한계
  • 평가 데이터셋 규모가 상대적으로 작을 수 있으며, 다른 도메인으로의 일반화 가능성 미검증
  • 지식 그래프의 완성도와 정확도에 의존적
• 후속 연구:
  • 더욱 정교한 검색 메커니즘(semantic matching 등) 도입
  • 대규모 데이터셋 확보 및 다중 도메인 팩트체킹으로 확장
  • 지식 그래프 보강 및 실시간 업데이트 메커니즘 개발
  • 다른 저자원 언어로의 확대 적용 가능성 탐색

Evaluation

총평: 저자원 언어 기반 COVID-19 팩트체킹에 지식 그래프를 활용한 실용적 연구로, 사회적 가치는 높으나 기술적 혁신성은 제한적이다. 단순한 검색 메커니즘 개선과 더 정교한 지식 통합 방식이 필요하다.