Sci2Pol: Evaluating and Fine-tuning LLMs on Scientific-to-Policy Brief Generation

Essence

Figure 1: Overview of Sci2Pol-Taxonomy and Dataset Source. (a) Sci2Pol-Taxonomy defines a

과학 논문을 정책 문서로 변환하는 LLM 성능 평가를 위한 첫 번째 벤치마크(Sci2Pol-Bench)와 미세조정 데이터셋(Sci2Pol-Corpus)을 제시하며, 인간의 집필 과정을 반영한 5단계 분류체계를 기반으로 18개 과제를 설계했다.

Known: LLM들은 일반적으로 강력한 성능을 보이지만, 기술 문서를 정책 대상자용으로 변환하는 과제에서는 콘텐츠 누락, 환각(hallucination), 부적절한 톤, 낮은 실행 가능성 등 4가지 주요 한계를 드러낸다.
Gap: 과학-정책 간 격차를 해소하기 위한 전문적인 벤치마크와 학습 데이터셋이 부재했으며, 정책 문서 작성 품질을 평가하는 적절한 메트릭도 없었다.
Why: 기후변화, 공중보건 등 주요 사회 문제 해결을 위해 과학적 근거를 정책에 적시에 반영하는 것이 중요하지만, 과학자와 정책입안자 간 소통 격차가 심각하기 때문이다.
Approach: 인간 집필 과정을 모방한 5단계 분류체계(자동완성, 이해, 요약, 생성, 검증) 기반 벤치마크 설계 및 LLM-as-a-judge 기반 품질 필터링을 통한 고품질 데이터셋 구축으로 성능 개선을 도모했다.

Figure 2: Overview of the Sci2Pol-Corpus Curation Process. It consists of 639 high-quality pa-

첫 번째 과학-정책 벤치마크 구축: 85명 전문가 작성 논문-정책 문서 쌍으로부터 18개 다양한 과제(객관식 및 서술형)를 설계하여 세밀한 평가 가능
새로운 평가 메트릭 개발: BERTScore와ROUGE 점수가 정책 문서 품질을 반영하지 못함을 증명하고, LLM 기반 참조 없음 평가 메트릭(reference-free metric)을 제안하여 전문가 판단과 일치성 달성
광범위한 모델 평가: GPT-4o, DeepSeek-V3 등 13개 주요 LLM의 성능 한계를 체계적으로 분석
고품질 학습 데이터셋 구축: 560만 개 정책 기록에서 140,000개 후보 쌍을 추출하고 LLM 판사와 전문가 샘플 기반 정제를 통해 639개 최종 쌍 확보
미세조정을 통한 성능 향상: Gemma-27B 미세조정 후 GPT-4o와 DeepSeek-V3(671B)를 초과하는 성능 달성

Figure 2: Overview of the Sci2Pol-Corpus Curation Process. It consists of 639 high-quality pa-

Sci2Pol-Taxonomy: 자동완성→이해→요약→생성→검증의 5단계로 정책 문서 작성 프로세스 분해
Sci2Pol-Bench: 전문가 작성 쌍을 기반으로 객관식(Tasks 1-6)과 서술형(Tasks 7-18) 과제 개발
LLM-as-a-judge 평가: Gemini-2.5-Pro 기반 참조 없음 평가 메트릭으로 생성 단계 품질 판정
후보 쌍 검색: 정책 문서의 인용된 논문과 매칭하여 5.6백만 정책 기록에서 140,000개 쌍 추출
품질 필터링: LLM 판사를 이용한 1차 필터링 후 전문가 샘플 3개를 참조로 한 문맥 내 정제(in-context polishing) 수행
미세조정: LLaMA-3.1-8B, Gemma-12B, Gemma-27B를 Sci2Pol-Corpus로 supervised fine-tuning

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 과학-정책 간 격차 해소라는 실질적 문제에 대응하는 첫 전문 벤치마크와 데이터셋을 제시하며, 인간 중심의 분류체계와 LLM 기반 평가 메트릭을 통해 고품질 평가 체계를 구축했다는 점에서 높은 원창성과 실용적 가치를 가진다.

후속 연구

과학 지식이 사회적 영향을 미치는 메커니즘을 정량적으로 분석하는 SciSci의 확장이다.

응용 사례

대규모 학술 코퍼스를 활용하여 과학-정책 변환이라는 실용적 문제를 해결한다.