Bridging social psychology and llm reasoning: Conflict-aware meta-review generation via cognitive alignment

Motivation

• Known: 급증하는 학술논문 투고로 인해 LLM 기반 동료심사 자동화 도구의 필요성이 증대되었으며, Chain-of-Thought(CoT) 등의 추론 방식이 개별 리뷰 생성에는 성과를 보이고 있음
• Gap: 기존 LLM 기반 메타-리뷰 생성 방식은 (1) 상충하는 평가의견을 효과적으로 처리하지 못하고, (2) 인간 의사결정의 인지편향(앵커링 효과: 첫 리뷰가 0.255의 계수로 과도하게 영향, 인간은 0.193; 동조편향: LLM의 동조계수 κ=0.125-0.25 vs 인간 1.00)을 증폭시킴
• Why: 메타-리뷰는 단순 요약이 아닌 증거기반의 합의도출과 갈등해결이 필요한 고차적 인지작업이며, 인간 심사위원회는 저갈등 상황에서는 직관적 판단(빠른 사고), 고갈등 상황에서는 심층 분석(느린 사고)을 구분 적용함
• Approach: 이원인지이론을 LLM에 구현하여 (1) 핵심정보 추출, (2) 갈등인식 점진적 통합, (3) 인지정렬(이원추론)의 3단계 파이프라인 구성

Achievement

그림 2: 서로 다른 리뷰어(R1-R5)의 최종 스코어 영향도 및 앵커링 효과 차이(Δ)

그림 3: 제안된 CAF 모델의 아키텍처

1. 인지편향 정량화: 앵커링 효과와 동조편향을 수학적으로 정의·측정하는 메트릭 개발 (로지스틱 회귀를 통한 계수 ξᵢ 산출, 동조계수 κ 정의)
2. 성능 개선: CAF 적용 결과 감정 일관성(sentiment consistency) 최대 19.47% 향상, 내용 일관성(content consistency) 최대 12.95% 개선 달성

How

• 초기화 단계(Initialization): 각 리뷰로부터 F_LLM을 통해 핵심 요소 추출, 모든 리뷰의 정보를 S₁∼ₙ = ⋃F_LLM(Rᵢ)로 통합
• 점진적 통합 단계(Incremental Integration): 순차적으로 리뷰를 처리하면서 동시에 상충(conflict) 맵핑 수행 (한 번에 모든 리뷰 처리로 인한 앵커링 효과 완화)
• 인지정렬 단계(Cognitive Alignment): 갈등 수준 판정 후 (1) 저갈등: 빠른 사고로 직관적 종합, (2) 고갈등: 느린 사고로 각 의견의 강점·약점 분석, 증거기반 추론을 통한 합의 도출

Originality

• 첫 시도: 학술 메타-리뷰 생성 태스크에서 앵커링 효과와 동조편향을 실증적으로 규명한 첫 연구
• 이론적 토대: 사회심리학의 이원인지이론을 LLM 아키텍처에 구체적으로 구현하여 심리학과 NLP의 교차 연구 확장
• 메커니즘 설계: 갈등맵핑과 이원추론 경로의 결합으로 단순 프롬프트 기법이 아닌 구조화된 프레임워크 제시

Limitation & Further Study

• 평가 규모: 50편 논문 기반 초기 실험(앵커링, 동조편향 측정)으로 대규모 검증 필요
• 편향 측정의 한계: 동조계수 κ가 '다수결이 맞는 경우의 비율'만 측정하여 인지편향의 방향성을 직접 포착하지 못할 수 있음
• 모델 일반화: GPT-4o, GPT-3.5, Qwen2.5-7B 등 특정 모델에서의 편향 정량화이며 다양한 LLM 아키텍처에 대한 검증 부족
• 후속 방향: (1) 대규모 학술 메타-리뷰 벤치마크 구축, (2) 다층 갈등 분류(사실적/방법론적/해석적 갈등) 세분화, (3) 인간-LLM 협업 시나리오에서의 편향 완화 효과 검증

Evaluation

총평: 사회심리학의 이원인지이론을 학술 메타-리뷰 생성이라는 실무적 과제에 창의적으로 접목하고, 기존 LLM의 앵커링·동조편향을 최초로 정량화한 의미 있는 연구이나, 평가 규모 확대와 갈등 판정 기준의 수학적 정교화가 필요하다.