Interesting Scientific Idea Generation using Knowledge Graphs and LLMs: Evaluations with 100 Research Group Leaders

Motivation

• Known: 급속히 증가하는 과학문헌으로 인해 연구자들이 새롭고 영향력 있는 아이디어 발굴이 어려워지고 있으며, 최근 LLM의 발전으로 대규모 과학 데이터로부터 연구 아이디어 생성이 가능해졌다.
• Gap: 기존 AI 기반 아이디어 생성 시스템의 평가는 NLP 박사학생 6명, 사회과학 박사학생 3명, 컴퓨터과학/생의학 박사학생 10명 등 소규모 평가에 국한되었으며, 실제 연구비 신청과 그룹 연구 방향을 결정하는 경험 있는 연구자들의 평가가 부재했다.
• Why: 연구 아이디어의 실제 가치를 평가하기 위해서는 수십 년의 연구 경험을 보유한 연구그룹리더들의 광범위한 평가가 필수적이며, 이는 AI 생성 아이디어의 품질 향상 방향을 제시할 수 있다.
• Approach: (1) 58백만 개 논문의 지식 그래프 구축, (2) 110명의 연구그룹리더를 대상으로 4,451개 개인화 아이디어 평가, (3) 지식 그래프 특성과 흥미도 간의 상관관계 분석, (4) 지도학습 신경망과 영점-샷(zero-shot) LLM 기반 흥미도 예측 모델 개발.

Achievement

막스플랑크 연구소의 110명 연구그룹리더들의 광범위한 평가 데이터

1. 대규모 인적 평가 데이터 확보: 54개 막스플랑크 연구소의 110명 연구그룹리더(평균 60편 발표, 3,760회 인용)로부터 4,451개 평가 응답 수집 - 기존 평가 규모의 10배 이상.
2. 흥미 있는 아이디어 생성 비율: 전체 아이디어의 약 25%가 4-5점(흥미 있음) 평가를 받았으며, 394개는 매우 흥미로운(5점) 것으로 평가됨.
3. 높은 예측 정확도: 지식 그래프 특성만 사용한 지도학습 신경망과 텍스트 없이 수행한 GPT 영점-샷 예측 모두 유의미한 예측 성능을 달성하여, 인적 평가 데이터 접근 불가 상황에서도 유용함을 입증.

지식 그래프 특성과 연구자 흥미도 간의 상관관계 분석

How

• 지식 그래프 구축: RAKE 알고리즘으로 244만 개 논문의 제목/초록에서 후보 개념 추출 → GPT, 위키피디아, 인간 주석을 통한 정제 → 총 123,128개 개념 확정 → 5,800만 개 논문에서 개념 간 동시 출현 정보를 통해 엣지(edge) 생성.
• 개인화 제안 생성: 각 연구자의 최근 2년 논문에서 개념 추출 및 정제 → 지식 그래프 부분 그래프(subgraph) 구축 → GPT-4에 최대 7개 논문 제목과 개념 쌍 제공 → 자기반영(self-reflection) 기법으로 3개 아이디어 생성 후 2회 반복 개선.
• 개념 쌍 선택 방식: (1) 무작위 선택, (2) 예측 영향도 기반 상위 개념 쌍, (3) 개념 쌍 없이 논문 제목만 사용(검증용).
• 흥미도 예측: (1) 지식 그래프 특성을 입력으로 하는 지도학습 신경망, (2) 인간 평가 데이터 없이 수행하는 GPT 영점-샷 순위 지정.

Originality

• 지식 그래프 기반 제약: 직접 LLM 프롬프트만 사용하는 대신, 5,800만 개 논문으로부터 구축한 대규모 지식 그래프를 매개로 하여 생성 과정의 통제 가능성을 높임.
• 학제 간 대규모 평가: 자연과학(104명) 및 사회과학(6명)의 110명 경험 있는 연구그룹리더를 포함한 학제적 평가 - 기존 연구의 10배 규모이며 실제 연구 의사결정권자의 관점 반영.
• 이중 예측 방법론: 지식 그래프 특성 기반 지도학습과 텍스트 없는 LLM 영점-샷 예측을 병행하여 상황별 적용 가능성 제시.
• 상관관계 분석의 역설적 발견: 고도의 연결성(높은 차수, PageRank)과 높은 인용도를 가진 개념일수록 흥미도가 낮다는 발견 - 기존 직관(잘 알려진 주제 조합)과 상반된 결과로 혁신적 아이디어 특성 규명.

Limitation & Further Study

• 제한된 평가자 다양성: 104명 중 104명이 자연과학 분야로 편중되어 있으며, 사회과학/인문학 평가자는 6명에 불과하여 학제 간 일반화 가능성이 제한적.
• 평가 기준의 암묵성: 연구자들의 '흥미도' 판단 기준이 명시적으로 정의되지 않아, 개별 차이와 맥락 의존성이 존재할 수 있음.
• 실제 구현 검증 부재: AI 제안이 실제 연구 프로젝트로 진행되었는지에 대한 추적 및 검증이 없어, 흥미도 평가와 실제 연구 성과 간의 관계 불명확.
• 시간 경과에 따른 새로움: 2023년 2월 데이터 기준으로 구축되어 최신 연구 동향 반영 부족.
• 후속 연구 방향: (1) 개념 쌍 선택 전략의 고도화 (현재 무작위/영향도 예측 간 유의미한 차이 부재), (2) 사회과학/인문학 평가자 확대를 통한 학제적 일반화, (3) 시간 동적 지식 그래프(temporal knowledge graph)로 확장, (4) 인간 평가자의 판단 근거에 대한 정성적 분석.

Evaluation

총평: 본 논문은 대규모 인적 평가를 통해 AI 생성 연구 아이디어의 실제 가치를 체계적으로 평가한 점에서 높은 기여도를 갖지만, 학제 간 평가의 불균형과 예측 모델의 실제 개선 효과 미흡이 한계이다. 그럼에도 과학 지식 그래프 기반 아이디어 생성과 예측의 가능성을 실증적으로 입증했다는 점에서 의미 있는 연구이다.