RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance

Motivation

• Known: 종래의 학술 동료 검토(peer review) 프로세스는 인간의 전문성에 의존하며, 이는 느린 처리 속도, 검토자 편향(reviewer bias), 판단의 불일치 등의 문제를 야기한다.
• Gap: 학술 논문 검토의 핵심 요소인 '관련성(Relevance)' 평가를 자동화하기 위한 대규모 양질의 데이터셋과 머신러닝 기반 솔루션이 부재하다. 기존 연구는 코사인 유사도 같은 단순 텍스트 유사도 방법에만 의존했다.
• Why: AI를 활용한 관련성 평가는 표준화되고 공정하며 효율적인 검토 프로세스를 제공하여 과학 지식의 빠른 확산을 촉진할 수 있다.
• Approach: 역공학(reverse engineering) 방식으로 "call for papers" 형식의 프롬프트를 생성하고, 이를 관련성 수준이 다른 4개의 논문과 쌍(pair)으로 구성한 데이터셋을 구축한 후, 전통적 머신러닝(SVM) 및 BERT 기반 분류 모델들의 성능을 비교 평가한다.

Achievement

그림 2: 훈련 데이터 크기별 SVC 성능 및 F1-점수

그림 3: 데이터 크기 변화에 따른 BERT(원-핫, Thermometer), SVC의 Kendall's Tau 비교

1. 벤치마크 데이터셋 구축: 25,164개의 고품질 인스턴스를 포함하는 RelevAI-Reviewer 데이터셋 공개. 각 인스턴스는 프롬프트 1개와 4개의 관련성 수준이 다른 논문으로 구성되어, 100,656개의 학습 데이터 포인트 생성.
2. 명확한 관련성 구분: Figure 1의 코사인 유사도 분포 분석 결과, 가장 관련성 높은 논문과 두 번째로 높은 논문 간에 최소 중복으로 명확한 구분이 이루어져 데이터셋 품질을 검증.
3. BERT 모델의 우수성 입증: BERT 기반 종단 분류기가 SVM 등 전통적 머신러닝 방법을 능가하는 성능 달성. Thermometer 인코딩을 사용한 경우 순서 정보를 더 잘 학습하여 개선된 결과 도출.
4. 공개 벤칭 플랫폼 제공: 학술 커뮤니티의 참여를 촉진하기 위해 이 과제를 공개 벤치마크로 제시하여 추가 모델 개발 및 개선 기회 제공.

How

그림 4: 원-핫 인코딩을 사용한 BERT의 F1-점수

그림 5: Thermometer 인코딩을 사용한 BERT의 F1-점수

데이터셋 구축 (Section 2)

• 역공학적 프롬프트 생성: Semantic Scholar에서 추출한 논문의 제목과 초록을 OpenAI GPT-3.5-turbo에 입력하여 "Write a systematic survey or overview about..." 형식의 프롬프트 자동 생성 (온도=0.1로 설정하여 일관성 유지)
• 4단계 관련성 분류:
  • 관련성 3 (가장 높음): 프롬프트 생성에 사용된 원본 논문
  • 관련성 2: 원본 논문이 인용한 논문들
  • 관련성 1: 동일 분야의 임의 선택 논문
  • 관련성 0 (가장 낮음): 다른 분야의 논문
• 인공 관련 작업 섹션 생성: Semantic Scholar API의 제한으로 인해 GPT-3.5-turbo를 사용하여 인용된 논문 3개 기반의 Related Work 섹션 합성 생성
• 품질 관리: 30,000여 개 초기 논문에서 엄격한 품질 검사를 거쳐 25,164개로 정제

분류 모델 및 인코딩 (Section 3)

• 라벨 인코딩 방식:
  • 원-핫(One-Hot) 인코딩: 각 관련성 등급을 4차원 이진 벡터로 표현. 출력의 최대값 인덱스를 읽어냄
  • 온도계(Thermometer) 인코딩: 순서 정보를 보존하는 인코딩으로, 예를 들어 관련성 2는 [1,1,0,0]으로 표현하여 순서관계 반영
• 기존 방법 비교:
  • 코사인 유사도 베이스라인: Semantic Scholar 임베딩 사용
  • SVM 분류기: Sentence-BERT(SBERT) 임베딩 + Support Vector Classifier
  • BERT 종단 분류기: 미세조정(fine-tuning)된 BERT 모델
• 평가 지표: F1-점수, Kendall's Tau (순서 상관계수), 다양한 훈련 데이터 크기에서의 성능 추적

Originality

• 신규 벤치마크 데이터셋: 학술 논문의 관련성 평가를 위한 대규모 구조화된 데이터셋(25,164 인스턴스)이 최초 공개되어 관련 연구의 기초 마련
• 역공학적 프롬프트 생성: 단순 텍스트 유사도가 아닌 LLM을 활용한 체계적인 프롬프트 생성 방법론 제시
• 다층적 관련성 분류: 이진 분류가 아닌 4단계 순서화된 관련성 분류 체계로 미세한 차이 포착 가능
• 라벨 인코딩 비교 연구: Thermometer 인코딩과 원-핫 인코딩의 성능 차이를 실증적으로 분석하여 순서 정보 보존의 중요성 입증
• 공개 벤치마크 플랫폼: GitHub 저장소를 통해 커뮤니티 참여형 연구 환경 제공

Limitation & Further Study

현재 한계

• 제한된 평가 범위: Rachmat & Khuong (2023)에서 제시한 5가지 평가 지표(Relevance, Contribution, Soundness, Clarity, Responsibility) 중 관련성(Relevance)만 다루어 다른 중요한 검토 항목이 누락됨
• 인공 Related Work의 신뢰성: 실제 논문의 Related Work 섹션을 LLM으로 합성 생성하여 정보 왜곡이나 부정확함이 발생할 가능성
• 논문 표현의 불완전성: 제목, 초록, 합성된 Related Work만 사용하여 논문의 도표, 수식, 그림 등 시각적 정보와 본문 내용이 완전히 제외됨
• 데이터 분포의 인위성: 관련성 1(동일 분야 임의 선택)이 실제 학술 환경의 논문 분포를 충분히 반영하지 못할 가능성
• 평가 메트릭 부재: 실제 피어 리뷰와의 비교나 도메인 전문가 평가 없이 자동 메트릭에만 의존

향후 연구 방향

• 다중 평가 기준 확장: Contribution, Soundness, Clarity, Responsibility 등 다른 평가 지표에 대한 데이터셋 및 모델 개발
• 실제 동료 검토와의 비교: 논문의 완전한 본문을 포함한 데이터셋 구축 및 실제 검토자의 평가와 AI 모델 결과의 일치도 분석
• 다양한 LLM 아키텍처 탐색: GPT-4, Claude, Llama 등 다른 대규모 언어 모델의 성능 비교
• 프롬프트 엔지니어링 최적화: 더 정교한 프롬프트 설계 및 few-shot learning 기법 적용
• 도메인별 모델 개발: 다양한 학문 분야(의학, 법학, 공학 등)별 특화된 분류 모델 구축
• 해석가능성 강화: 모델의 판정 근거를 설명하는 기능 추가로 피어 리뷰 프로세스에 실제 통합 가능성 향상

Evaluation

총평: 본 논문은 학술 논문 관련성 평가의 자동화를 위한 실용적인 벤치마크를 최초로 제공하며 공개 플랫폼을 통해 커뮤니티 참여를 유도하는 점이 가치있으나, 인공 데이터 생성의 신뢰성 문제와 단일 평가 기준만 다룬 점에서 개선의 여지가 있다.