S2ORC: The Semantic Scholar Open Research Corpus

Essence

Figure 1: Inline citations and references to ﬁgures and

81.1M개의 학술논문으로 구성된 S2ORC 코퍼스를 소개하며, 8.1M개의 오픈액세스 논문에 대해 구조화된 전문(full text)과 인용 관계를 기계가독형으로 제공한다.

Known: arXiv, PubMed Central 등 다양한 학술 데이터베이스와 인용 그래프(MAG, Semantic Scholar)가 존재하지만, 대부분 도메인 특화적이거나 구조화된 전문이 부족하다.
Gap: 기존 코퍼스들은 전문 텍스트가 부족하거나(예: RefSeer, Saier & Färber 2019) 학문 분야 범위가 제한적이며, 인용과 그림/표 참조의 명시적 링크가 없다.
Why: 학술 논문의 구조적 특성(섹션, 인용, 그림/표)을 활용한 NLP 연구를 촉진하고, 학술 텍스트 마이닝과 과학 지식 추출 관련 모델 개발을 지원하기 위해 필요하다.
Approach: Semantic Scholar의 200M개 논문 클러스터에서 PDF와 LaTeX 소스를 처리하여 메타데이터, 구조화된 전문, 인용 링크를 추출하고, 품질 필터링 및 정규화 파이프라인을 적용한다.

Figure 1: Inline citations and references to ﬁgures and

PDF 파싱의 정확도 한계로 인한 구조화 오류 발생 가능성
LaTeX에서 추출한 메타데이터 품질이 PDF보다 낮아 메타데이터 선택에 미사용
오픈액세스 상태 식별의 불완전성으로 인한 일부 공개 논문 누락 가능
비영어 논문 제외로 인한 언어적 제한
후속 연구: (1) PDF 파싱 정확도 개선을 위한 머신러닝 기반 구조 인식, (2) 다국어 지원 확대, (3) 실시간 코퍼스 업데이트 메커니즘 개발

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: S2ORC는 학술 논문 분석을 위한 가장 포괄적이고 구조화된 대규모 공개 코퍼스로서, 학술 텍스트 마이닝, 인용 분석, 지식 추출 등 다양한 NLP 연구를 촉진할 수 있는 중요한 기여이다.

기반 연구

SciSci 연구에 필수적인 대규모 학술 데이터 인프라를 제공한다.

다른 접근

Microsoft Academic Graph와 유사하게 대규모 학술 메타데이터를 제공하는 대안적 플랫폼이다.

다른 접근

Microsoft Academic Graph 대안으로 완전 개방형 학술 메타데이터 플랫폼을 제공한다.

다른 접근

특정 도메인(촉매)에 특화된 대규모 데이터셋으로 일반적 학술 코퍼스와 보완적 관계이다.

응용 사례

대규모 학술 코퍼스를 활용하여 과학-정책 변환이라는 실용적 문제를 해결한다.