Select, read, and write: A multi-agent framework of full-text-based related work generation

Motivation

• Known: 기존 관련 연구 생성(RWG, Related Work Generation) 방법들은 문맥 윈도우 크기 제약으로 인해 초록, 서론/결론, 관련 연구 섹션 등 제한된 부분만 입력으로 사용해왔다. 또한 참고 문헌 간의 관계 포착 능력이 미흡하여 각 문헌의 고립된 설명을 생성하는 문제가 있다.
• Gap:
  1. C1 (얕은 이해): 제한된 텍스트 입력으로 인한 오역 및 할루시네이션(misinterpretations and hallucinations)
  2. C2 (관계 포착 실패): 참고 문헌 간의 관계를 효과적으로 설명하지 못함
• Why: 학술 글쓰기에서 고품질의 관련 연구 섹션은 (1) 참고 문헌 간 정확한 비교, (2) 새로운 연구의 위치 지정, (3) 고립된 설명 회피를 요구한다.
• Approach:
  1. 전체 텍스트 기반 RWG를 위한 다중 에이전트 프레임워크 제안 (C1 해결)
  2. 그래프 기반 셀렉터를 통한 명시적 관계 모델링 (C2 해결)
  3. 공동 출현(co-occurrence) 그래프와 인용(citation) 그래프 구축

Achievement

그래프 인식 셀렉터의 동작: (a) 그래프 구조 제약 하에서 현재 논문 계속 읽기 또는 인접 논문으로 이동 (b) 인용 그래프 (c) 공동 출현 그래프

1. 프레임워크 성능: Llama3-8B, GPT-4o, Claude-3-Haiku 세 가지 기본 모델 전반에서 일관되게 성능 향상. LLM 기반 메트릭과 그래프 기반 메트릭 모두에서 개선.
2. 그래프 인식 셀렉터 우수성: 다양한 선택 전략 중 그래프 제약을 활용하는 셀렉터가 최고 성능 달성. 참고 문헌 간의 명시적 관계 활용이 읽기 순서 최적화에 효과적임을 입증.
3. 전체 텍스트 활용: 섹션별 선택적 읽기를 통해 맥락 윈도우 제약을 극복하면서도 풍부한 정보 활용 가능.

How

프레임워크 구성 및 데이터 흐름

다중 에이전트 프레임워크 구조:

• 셀렉터(Selector):
  • 모든 논문의 초록, 현재 작업 메모리(working memory M), 읽기 이력(reading history H)을 입력으로 다음 읽을 논문과 섹션 (R_t, s_t) 결정
  • 종료 신호 출력 가능
• 리더(Reader):
  • 선택된 섹션의 내용을 처리하고 작업 메모리 업데이트
  • JSON 형식의 메모리에 주요 정보 저장 (문제점, 기술, 관계 등)
  • 토큰 제약(예: 4096 토큰) 적용하여 불필요한 정보 제거
  • 읽기 이력에 (R_t, s_t) 추가
• 라이터(Writer):
  • 최종 작업 메모리 M_T와 읽기 이력 H_T 기반으로 관련 연구 섹션 생성
  • 학술 글쓰기 기준을 따르는 프롬프트 활용

그래프 기반 셀렉터 전략:

• 공동 출현 그래프: 같은 논문에서 공동으로 인용되는 논문들의 관계 모델링
• 인용 그래프: 논문 간 직접적인 인용 관계 모델링
• 셀렉터는 그래프 제약 하에서 현재 논문 계속 읽기(Stay) 또는 인접 논문으로 이동(Jump) 결정

Originality

• 에이전트 역할 분담: 기존 에이전트 기반 방법들이 주로 QA 작업에 초점을 두고 단일 에이전트를 사용한 반면, 본 연구는 읽기 순서 최적화(셀렉터)와 메모리 관리(리더)를 구분하는 이중 에이전트 구조 제안
• 명시적 그래프 제약 활용: 기존 연구들이 그래프 구조를 암묵적으로 통합한 반면, 본 연구는 셀렉터의 행동을 그래프 구조로 명시적으로 제약하여 참고 문헌 간 관계 포착
• 전체 텍스트 기반 접근: 섹션별 선택적 읽기를 통해 전체 논문 내용을 활용하면서도 맥락 윈도우 제약 극복
• 작업 메모리 설계: JSON 형식의 구조화된 메모리로 논문 내용, 관계, 읽은 섹션 이력을 체계적으로 관리

Limitation & Further Study

• 그래프 구성 의존성: 공동 출현 그래프와 인용 그래프의 품질이 기본 논문의 메타데이터(인용 정보, 논문 구조)에 크게 의존. 메타데이터가 불완전한 경우 성능 저하 가능성
• 계산 비용: 반복적인 읽기와 메모리 업데이트 과정으로 인한 추론 시간 증가. 최적의 읽기 순서와 종료 조건 결정의 효율성 미흡
• 메모리 토큰 제약의 정보 손실: 명시적 토큰 제약(4096 토큰)에 의한 강제적 정보 삭제가 중요 내용 손실 초래 가능
• 후속 연구 방향:
  1. 메타데이터 없는 상황에서의 관계 그래프 자동 구성 방법 개발
  2. 셀렉터의 확률적 종료 결정 메커니즘 개선
  3. 메모리 압축 전략의 고도화 (중요도 기반 선별)
  4. 더 큰 규모의 참고 문헌 세트(N >> 10)에 대한 확장성 평가
  5. 도메인 특화 관계 그래프(예: 계산 복잡도 그래프) 활용 가능성 탐색

Evaluation

총평: 전체 텍스트 기반 관련 연구 생성이라는 실용적이고 도전적인 문제를 다중 에이전트 프레임워크와 명시적 그래프 제약으로 창의적으로 해결한 좋은 논문이다. 그러나 메모리 관리 메커니즘의 강건성, 대규모 참고 문헌에 대한 확장성, 실제 학술 환경에서의 실용성 검증이 추가로 필요하다.