The Empowerment of Science of Science by Large Language Models: New Tools and Methods

Motivation

• Known: LLM은 자연어 처리, 이미지 인식, 멀티모달 작업에서 뛰어난 성능을 보이고 있으며, Transformer 아키텍처를 기반으로 발전하고 있다. 과학계량학은 인용 분석, 주제 모델링 등 전통적 방법에서 AI 기법으로 진화하고 있다.
• Gap: LLM의 과학계량학 분야 적용에 대한 체계적인 검토가 부족하며, LLM 기술들(프롬프트 엔지니어링, RAG, 파인튜닝 등)과 SciSci의 구체적 연결고리가 명확하지 않다.
• Why: LLM은 AGI를 향한 핵심 기술이자 글로벌 기술 경쟁의 중심축이며, 이를 과학 평가, 연구 동향 감지, 지식 그래프 구축에 활용하면 과학 정책과 연구 관리를 혁신할 수 있다.
• Approach: LLM의 기술 아키텍처를 체계적으로 분류하고 개념을 정의한 후, 과학계량학의 역사적 발전을 추적하며, LLM의 과학계량학 응용 가능성을 전망한다.

Achievement

Figure 2. The common terminology and relation of LLMs

• LLM 기술 분류 및 정의: Transformer 및 Mixture of Experts(MoE) 아키텍처, 일반 모델과 수직 모델, 언어·시각·멀티모달 모델 등으로 체계적 분류
• 핵심 기술 검토: 프롬프트 엔지니어링(Prompt Engineering), 지식 강화 검색 증강 생성(Knowledge-enhanced RAG), 파인튜닝(Fine-tuning), 사전학습(Pre-training), 도구 학습(Tool Learning) 등 5가지 핵심 기술 상세 분석
• 과학계량학 진화 추적: 인용 분석에서 BERT, GCN, 지식 그래프 등 AI 기법으로의 진화 과정 문서화
• LLM 응용 전망: AI 에이전트 기반 과학 평가 모델, 신흥 연구 분야 감지, 지식 그래프 자동 구축 방법론 제시

How

Figure 1. Parameters and classification of notable LLMs

• LLM의 파라미터 규모, 아키텍처, 학습 데이터 규모 비교 분석(GPT-1부터 GPT-4까지의 진화 추적)
• 일반용어 및 개념 간의 관계도 구축으로 LLM 생태계 맥락화
• 역사적 맥락에서 과학계량학 방법론의 진화 단계별 분석
• 실제 GitHub 코드 및 데이터셋 공개를 통한 재현성 확보

Originality

• LLM 기술을 사용자 관점에서 체계적으로 정리한 최초의 종합 리뷰(기존 연구는 특정 기술이나 모델 중심)
• 과학계량학과 LLM의 융합 적용 가능성을 체계적으로 제시한 새로운 관점 제공
• AI 에이전트 기반 과학 평가 모델이라는 혁신적 개념 도입
• 신흥 연구 분야 감지와 지식 그래프 구축에 LLM 활용하는 구체적 방법론 제시

Limitation & Further Study

• 논문이 리뷰 논문이므로 실증적 실험 데이터가 제한적(초록 발췌 부분에서만 판단)
• 각 LLM 기술(RAG, 파인튜닝 등)의 과학계량학 적용 구체적 사례 부족
• LLM 적용 시 데이터 품질, 윤리 문제, 모델 편향 등의 제약 조건이 충분히 논의되지 않음
• 후속 연구: 각 기술별 실제 과학계량학 적용 실험, 다국어 LLM 적용 방안, 학제 간 과학 평가에서의 LLM 신뢰성 검증이 필요함

Evaluation

총평: 본 논문은 LLM의 핵심 기술을 체계적으로 정리하고 과학계량학과의 융합 가능성을 제시함으로써, AI for Science의 새로운 방향을 제시하는 가치 있는 종합 리뷰이다. 다만 구체적인 실증 연구와 적용 사례로 보강된다면 더욱 실용적인 가이드가 될 것이다.