Unveiling the sentinels: Assessing ai performance in cybersecurity peer review

Motivation

• Known:
  • 과학 커뮤니티에서 동료 검토는 연구 평가의 표준 방법
  • 사이버보안 분야의 학술지 투고량이 급증하면서 검토 과정의 부담 증가
  • NLP와 머신러닝이 논문 평가 자동화에 활용될 가능성 존재
• Gap:
  • 기존 연구는 컴퓨터 비전 분야의 논문 외형(gestalt) 기반 예측이나 교육용 에세이 평가에 집중
  • 사이버보안 논문의 동료 검토 결과를 머신러닝으로 예측하려는 정량적 연구 부재
  • ChatGPT 등 대형 언어모델(LLM)과 전통 ML 기법의 비교 연구 미흡
• Why:
  • 최근의 "Big-4" 보안학술지(ACM CCS, IEEE S&P, NDSS, USENIX Security)에서의 동료 검토 과정 연구화(Soneji et al.)가 정성적 분석에 그침
  • AI가 검토 과정의 어느 부분을 자동화할 수 있는지, 인간 판단의 대체 가능성을 실증적으로 규명 필요
• Approach:
  • 컴퓨터 과학 학술지 10,519편(수용) + arXiv 논문 4,220편(거절 근사)로 구성된 14,739편 데이터셋 구축
  • 전이학습(transfer learning): 일반 CS 학술지 논문으로 Doc2Vec 사전학습 후 보안 논문으로 미세조정
  • Doc2Vec 임베딩 + 다양한 분류기(SVM, RF, GB 등)와 ChatGPT 성능 비교 평가

Achievement

"Big-4" 보안학술지의 동료 검토 패러다임: 이중맹검 검토 프로세스의 구조화된 흐름

1. 높은 예측 정확도: Doc2Vec 기반 분류 모델이 91% 이상의 정확도로 보안 논문의 수용/거절 예측 달성. ChatGPT의 성능을 크게 초과
2. 대규모 보안 학술 데이터셋: 14,000편 이상의 논문을 포함하는 종합 데이터셋 구축. 이는 향후 유사 연구의 벤치마크 제공
3. 추상(abstract) 기반 예측 및 신규 논문 처리: 전체 논문뿐 아니라 추상 정보만 활용한 예측, 학습 데이터에 없는 신규 논문 처리 가능성 입증
4. AI의 한계와 역할 규명: ML 기법이 기술적 정당성, 실험 완성도 등 객관적 요소는 포착하나, 창의성·혁신성 등 주관적 가치 판단은 불가능함을 실증적으로 제시

How

• 데이터셋 구성 전략:
  • 양성 샘플(Positive): 상위 CS 학술지의 게재 논문 10,519편
  • 음성 샘플(Negative): arXiv 프리프린트 4,220편을 미거절 논문으로 근사 (직접 거절 데이터 확보 불가로 인한 실용적 선택)
  • 선택 휴리스틱: 학술대회 발표 초안 버전, 보안 관련 프리프린트 등 신뢰성 있는 음성 샘플 필터링
• 두 단계 분류 파이프라인:
  1. 단계 1: Doc2Vec으로 문서를 고차원 벡터로 임베딩 (차원: 300d)
  2. 단계 2: 임베딩된 벡터를 SVM, Random Forest, Gradient Boosting 등 고전 분류기에 입력
• 전이학습 전략:
  • 보안 논문의 제한된 수량을 극복하기 위해 일반 CS 논문에서 Doc2Vec 사전학습
  • 학습된 모델을 보안 논문 코퍼스로 미세조정하여 도메인 특화 성능 극대화
• ChatGPT 평가:
  • OpenAI의 GPT 기반 대화형 AI를 동일 데이터셋에서 프롬프트 기반 평가
  • 전체 논문 및 추상 기반 예측 수행
• 실험 설계:
  • 학습/검증/테스트 데이터 분할 (70/15/15 또는 유사 비율)
  • Accuracy, Precision, Recall, F1-score 등 다중 지표 평가
  • 신규 미학습 논문 세트에 대한 일반화 성능 검증

Originality

• 보안 도메인 특화 연구: 기존 논문 평가 AI 연구는 일반 CS나 교육용 에세이 중심이었으나, 본 연구는 사이버보안 학술지의 검토 과정을 구체적 대상으로 함
• 정량적 동료 검토 분석: Soneji et al.의 정성적 인터뷰 연구를 보완하는 실증적 정량 분석 제공
• LLM과 전통 ML의 직접 비교: ChatGPT 출현 이후 LLM의 학술 검토 활용 논의가 증가하는 시점에서 이를 고전 ML 기법과 체계적으로 비교한 첫 시도
• 체계적 음성 샘플 선정 휴리스틱: 폐쇄적 검토 과정의 한계를 인정하면서도 arXiv를 활용한 신뢰성 있는 대체 방식 제시
• 추상 기반 예측 및 신규 논문 처리: 실무적으로 유용한 부분 정보 기반 예측과 도메인 외 논문 일반화 성능 평가

Limitation & Further Study

• 음성 샘플의 근사성: arXiv 논문이 실제 "Big-4" 거절 논문을 완벽히 대표하지 못함. 실제 거절 논문에는 형식 오류, 명백한 기술 결함 등이 포함될 수 있으나, arXiv 논문은 어느 정도 학술적 수준을 만족함으로 인한 잠재적 편향
• 추상성의 한계: 도메인 외(Out-of-Distribution) 데이터에 대한 일반화 성능이 제한적일 수 있음. 학습 데이터와 크게 다른 새로운 보안 주제나 방법론의 예측 성능 미평가
• 설명 가능성(Explainability) 부족: Doc2Vec + 분류기의 블랙박스 특성으로 인해 어떤 특정 논문 요소(참고문헌, 실험 규모, 기술 복잡도 등)가 수용 결정에 영향을 미치는지 파악 어려움
• 주관적 평가 요소의 불포함: 논문 작성 품질, 창의성, 적용 가능성 등 인간 검토자의 주관적 판단은 자동 예측 불가능. 이들 요소의 명시적 모델링 부재
• 후속 연구 방향:
  • 실제 거절 논문 데이터 수집(윤리적 승인 하에)을 통한 음성 샘플 정확도 향상
  • 어텐션 메커니즘(Attention) 기반 신경망 활용으로 예측 가능성 개선
  • 검토자의 평가 의견문(review comments) 자동 생성 연구
  • 다양한 보안 하위 분야(암호학, 네트워크 보안 등) 간 성능 차이 분석

Evaluation

총평: 본 논문은 사이버보안 학술지의 동료 검토를 AI로 예측하는 최초의 정량 연구로서 실무적·학술적 의의가 있으나, 음성 샘플의 근사성, 기술 방법론의 보수성, 그리고 주관적 평가 요소를 포착하지 못한다는 근본적 한계로 인해 AI가 인간 검토자를 완전히 대체할 수 없음을 보여준다. 이는 역설적으로 연구의 가치를 입증한다.