Generating full length wikipedia biographies: The impact of gender bias on the retrieval-based generation of women biographies

Essence

모델 아키텍처: 웹 검색 결과에서 관련 정보를 검색(retrieval)한 후, 섹션별로 위키피디아 전기문을 생성하고 인용문을 추가하는 end-to-end 시스템

본 논문은 웹 검색 기반 정보 검색(retrieval-augmented generation)과 사전학습 모델을 활용하여 전체 길이의 위키피디아 전기문을 자동 생성하는 시스템을 제시하며, 특히 웹상 정보가 부족한 여성 인물 전기 생성에서 성별 편향의 영향을 분석한다.

Motivation

Known: 위키피디아는 지식 보급의 주요 매체이지만, 남성 중심의 편향된 정보를 담고 있으며, 특히 전기 부문에서 여성에 관한 기사가 매우 부족함
Gap: 기존 위키피디아 생성 연구는 단편적이거나 추출 기반 방법을 사용하였으며, 장문 생성, 인용 처리, 여성 전기 생성의 어려움을 체계적으로 다루지 못함
Why: 자동 전기 생성 시스템은 인간 편집자의 부담을 줄이고 성별 편향을 완화하는 기초 도구가 될 수 있음
Approach: 검색-생성(retrieval-augmented generation) 아키텍처와 섹션별 생성, 캐싱 메커니즘을 활용하여 장문의 구조화된 전기문 생성 및 인용 추가

Achievement

Libbie Hyman(동물학자)의 Work 섹션 생성 사례: 검색된 정보를 바탕으로 자연스러운 문장 생성 및 인용 추가

여성 전기 데이터셋 구축: 1,527개의 여성 인물 위키피디아 전기 평가 데이터셋 구축으로 웹 정보 부족 시나리오 분석
장문 생성 모델 개발: 섹션별 생성과 Transformer-XL 캐싱을 통해 장문 일관성 유지 및 신뢰성 있는 인용 추가 달성
성별 편향 정량화: 여성 전기(검색 어려움) vs 일반 전기(검색 용이) 간 생성 성능 차이를 ROUGE-L, entailment, 개체명 커버리지로 분석
대규모 인간 평가: 생성 전기의 사실성(factuality)과 정보 커버리지(coverage)를 인간 평가로 검증

How

검색 모듈(Retrieval Module):
- 쿼리: 인물명 + 직업 + 섹션 헤더의 조합으로 다양한 섹션별 정보 검색 가능
- RoBERTa-base(LayerDrop 적용)로 웹 문서 문장 인코딩 후 dot-product로 관련도 계산
- 상위 k개 문장(~1,000단어) 추출 및 생성 모듈 학습에 따라 동적 업데이트
생성 모듈(Generation Module):
- BART-Large 기반 Sequence-to-Sequence 모델 사용
- 인물명, 직업, 섹션 헤더, 검색된 증거 정보를 입력으로 활용
- Transformer-XL 캐싱: 이전 섹션의 숨겨진 상태를 메모리로 사용하여 중복 제거 및 일관성 유지
인용 모듈(Citation Module):
- 각 섹션 생성 후 검색된 웹 문서를 인용으로 명시
- 인간이 작성한 위키피디아 형식 모방

Originality

여성 전기 편향 분석: 웹상 정보 가용성 차이가 생성 품질에 미치는 영향을 체계적으로 분석한 첫 시도
섹션별 생성 구조: 전체 기사를 한 번에 생성하지 않고 섹션 단위로 생성하여 장문 일관성 및 구조 보존
End-to-end 검색-생성: 검색 모듈이 생성 모듈의 역전파 피드백을 받아 학습되는 통합 시스템
자동 인용 생성: 기존 연구에서 다루지 않은 인용 추가 기능으로 실질적인 위키피디아 품질 구현

Limitation & Further Study

검색 의존성: 모델 성능이 웹 검색 결과 품질에 크게 의존하므로, 정보가 부족한 분야(여성, 소수자, 비영어권)에서 성능 저하
평가 제한: 자동 지표(ROUGE)는 장문 생성의 다양성을 충분히 반영하지 못하며, 인간 평가 규모 제한
인포박스 미포함: 위키피디아의 구조화된 정보(infobox)를 생성하지 않아 완전한 자동화 미달성
후속 연구:
- 정보 부족 분야에 대한 특화된 검색 전략 개발
- 다국어 전기 생성 확장 및 지역별 편향 분석
- 생성 전기와 인간 편집자 협업 시스템 구축

Evaluation

총평: 본 논문은 장문 위키피디아 전기 자동 생성이라는 도전적인 과제를 검색-생성 아키텍처로 해결하며, 여성 인물에 대한 웹 정보 부족이 생성 품질에 미치는 영향을 처음으로 정량화한 점에서 의의가 있다. 다만 검색 결과의 품질에 대한 과도한 의존성과 자동 평가 지표의 제한성이 실무 적용을 위해 개선되어야 할 과제이다.

같이 보면 좋은 논문

기반 연구

Assisting in writing wikipedia-like articles from scratch with large language models

처음부터 위키피디아 스타일 글 작성을 지원하는 기반 시스템입니다.

다른 접근

Multi-llm collaborative caption generation in scientific documents

위키피디아 전기문 생성과 과학 논문 캡션 생성이라는 서로 다른 장르의 텍스트 생성 문제입니다.

후속 연구

Retrieval-Augmented Generation for Large Language Models: A Survey

검색 증강 생성 방법론을 장문 생성과 편향 분석으로 확장한 연구입니다.

응용 사례

Agentic retrieval-augmented generation: A survey on agentic rag

에이전틱 검색 증강 생성 기법을 전기문 작성에 구체적으로 적용한 사례입니다.