Bridging the gap between science and society: Mapping libraries' strategies for engaging in the research impact process through semantic analysis

Motivation

• Known: 기존 연구는 대학, 기업, 정부 등 주요 이해관계자의 연구영향 역할에 집중했으며, 도서관과 같은 지식중개기관의 역할은 체계적으로 이해되지 못했다.
• Gap: 도서관이 디지털 리터러시 향상과 공평한 정보접근을 통해 연구영향 생성 과정에 어떻게 참여하는지에 대한 증거 기반의 체계적 분석이 부족했다.
• Why: 과학 연구의 사회적 가치 실현은 학계 너머의 효과적인 지식 확산에 달려 있으며, 도서관의 중개자 역할을 이해하는 것이 미래 지식 브로커 전략 개발에 필수적이다.
• Approach: REF 데이터베이스의 impact case study에서 도서관 참여 사례를 추출하고, GPT-4o 기반 전략 추출(strategy extraction)과 BERTopic 의미분석(semantic analysis)을 결합한 하이브리드 방식을 적용했다.

Achievement

Figure 1. Actors in the process of generating scientific research impact.

• 5가지 핵심 전략 규명: 미디어 커뮤니케이션 및 공공참여, 공공 대화 및 문화 제시, 예술 협력 및 실시간 경험, 디지털 콘텐츠 생성 및 유포, 대규모 이벤트 조직
• 분야별 분포 분석: 도서관 기여가 인문학(Main Panel D) 76%, 문화적 영향 67%, 사회적 영향 22%에 집중됨을 규명
• 증거 기반 프레임워크 제시: 연구 생태계 내 도서관의 역할을 명확히 하는 이론적·실무적 프레임워크 제안
• 465건 대규모 사례 분석: REF2014와 REF2021 데이터를 통합한 대규모 실증 분석으로 신뢰성 확보

How

Figure 4. Research workflow diagram.

• 정확한 도서관명 매칭(exact matching)으로 REF case의 SI(Summary of Impact)와 DI(Details of Impact) 섹션에서 도서관 참여 사례 식별
• GPT-4o를 활용한 전략 추출으로 Strategy, Rationale, Evidence_snippet 3가지 요소 추출
• 최소 10% (50건)의 무작위 표본에 대해 2명 독립 연구자에 의한 수동 검증으로 정확성 확보
• BERTopic 모델링으로 strategy 필드와 evidence_snippet 필드에 차등 가중치(ws, we) 적용하여 주제 군집화
• Library Technology 웹사이트에서 웹 스크래핑으로 도서관 목록 데이터(이름, 주소, 유형, URL, 업데이트 시간) 수집

Originality

• 도서관을 명시적 주인공으로 취급한 최초의 대규모 실증 연구로, 기존 연구의 '지식중개기관 누락' 문제 해결", 'LLM과 BERTopic의 하이브리드 의미분석 방법론으로 문맥 무결성을 유지하면서 전략을 객관적으로 추출
• REF 공식 데이터베이스의 실제 영향 사례 465건을 분석하여 인위적 시뮬레이션이 아닌 진정한 실증 근거 제공
• 도서관의 연구영향 기여를 '전략' 수준에서 체계화하여, 추상적 이해에서 행동 가능한 프레임워크로 전환

Limitation & Further Study

• 분석 대상이 영국 REF 데이터에 한정되어 다른 지역의 도서관 전략에 일반화 가능성 미흡
• 도서관 유형(학술도서관, 공공도서관, 특수도서관 등)별 차별화된 전략 분석 부재로 기관 특성에 따른 구체적 인사이트 부족
• Arts and Humanities (76%) 집중도가 높아 STEM 분야에서의 도서관 역할 과소 규명 가능성
• LLM 기반 추출의 구조적 편향성(예: 특정 표현 방식의 과다/과소 추출) 완전 제거 불가
• 후속연구 방향: 다양한 지역 데이터셋 수집을 통한 국제 비교 연구, 도서관 유형별 맞춤형 전략 개발, STEM 분야 도서관 영향 심화 분석 필요

Evaluation

총평: 본 연구는 LLM과 의미분석을 결합한 혁신적 방법론으로 도서관의 연구영향 기여 전략을 체계적으로 규명한 높은 가치의 실증 연구이다. 다만 지역적 일반화 한계와 도서관 유형별 세분화 분석 부재는 향후 보완이 필요하다.