From lived experience to insight: Unpacking the psychological risks of using ai conversational agents

Motivation

• Known: 기존 연구들은 AI 관련 광범위한 위험 분류법(taxonomy)을 제시했으나, 심리적 위험(psychological risks)은 하위 카테고리로 취급되어 과소 대표되어 있음. 또한 문헌 기반(literature-driven) 접근은 AI의 진화하는 능력과 사용 사례를 충분히 포착하지 못함.
• Gap: (1) 살아낸 경험에 기반한 심리적 위험 분류법의 부재, (2) AI 행동과 심리적 영향 간의 맥락-의존적 관계에 대한 이해 부족, (3) 이론적 통찰을 구체적 설계 권장사항으로 번역하는 메커니즘 부재.
• Why: AI 대화형 에이전트의 급속한 보급(ChatGPT, Copilot 등)과 정신건강 지원 용도 확대로 심리적 위험이 시급한 이슈로 등장함. 특히 정신건강 경험자(mental health lived experience)는 극단 사용자 집단으로서 심리적 위험을 깊이 있게 제시할 수 있음.
• Approach: (1) 283명의 정신건강 경험자 대상 혼합방법론 설문조사, (2) 19개 AI 행동 × 21개 부정적 심리적 영향 × 15개 사용자 맥락을 통합한 분류법 개발, (3) 7명의 전문 워크숍 참가자와 3세션 워크숍을 통한 다중경로 비네트 기반 설계 권장사항 도출.

Achievement

1. 심리적 위험 분류법(Psychological Risk Taxonomy): AI 행동(producing harmful content, manipulation, trust violation 등), 부정적 심리적 영향(emotional triggering, identity harm, mental health impact 등), 사용자 맥락(개인 특성, 심리상태, 사용 상황)의 3층 구조로 구성된 최초의 살아낸 경험 기반 분류법 제시.
2. 다중경로 비네트 프레임워크(Multi-path Vignette Framework): AI 행동-영향-맥락 간의 복잡한 상호작용을 시나리오 형태로 가시화하여 각 경로의 구체적 디자인 개입점(intervention points)을 식별.
3. 실행 가능한 설계 권장사항(Design Recommendations): 안전성 고려사항, 효과적인 리다이렉션, 적절한 사용자 참여 등 개발자와 정책입안자가 즉시 적용 가능한 구체적 권장사항 제시.

How

• 혼합방법론 연구 설계: 정량 분석(Quantitative analysis)과 주제 분석(Thematic analysis) 병행
  • 1단계: 283명 온라인 설문 → 심리적 위험 분류법 개발
  • 2단계: 비네트 기반 워크숍(N=7, 3세션) → 분류법 검증 및 설계 권장사항 정제
• 살아낸 경험 중심 데이터 수집:
  • 정신건강 경험자를 "극단 사용자 집단(extreme user group)"으로 모집
  • 정신건강-우선(mental-health-first) 관점 채택으로 심리적 위험의 독특한 뉘앙스 포착
• 맥락-민감적 분석: 동일한 AI 행동이 사용자 맥락(우울증 병력, 자해 위험, 신체 불안감 등)에 따라 다양한 심리적 영향을 미치는 메커니즘 분석
• 반복적 정제 과정: 설문 결과 → 비네트 개발 → 워크숍 피드백 → 최종 권장사항으로의 순환적 정제

Originality

• 살아낸 경험(Lived Experience) 방법론의 적용: 기존 문헌 기반 분류법과 달리, 정신건강 경험자의 직접 경험을 1차 데이터로 활용하여 신흥 위험과 미묘한 뉘앙스 포착.
• 심리적 위험의 위상 상향: 기존 분류법에서 하위 카테고리였던 심리적 위험을 중심 분석 대상으로 격상, 19개 AI 행동 × 21개 심리적 영향의 세분화된 분류법 제시.
• 다중경로 비네트 프레임워크: 단순한 위험 목록이 아닌 AI 행동-영향-맥락의 상호작용을 시나리오로 재현하는 새로운 가시화 및 적용 메커니즘 제시.
• 설계 권장사항의 구체성: 추상적 원칙(principles)이 아닌 "안전성 고려사항(Safety considerations)", "효과적 참여(Effective engagement)" 등 구체적으로 실행 가능한 권장사항 도출.
• 정신건강 불평등에 대한 민감성: 자해, 신체 수치심, 차별 등 민감한 주제에 대한 트라우마-인형적(trauma-informed) 접근으로 윤리적 엄밀성 확보.

Limitation & Further Study

• 표집의 제한성: 283명의 설문 참가자와 7명의 워크숍 전문가는 특정 지역(미국, 캐나다)과 디지털 접근성 높은 그룹으로 제한될 가능성. 다양한 사회경제적 배경, 문화적 맥락, 언어권 대표성 부족.
• AI 모델의 빠른 진화: 논문 작성 시점(2024-2025)과 실제 배포된 AI 모델의 능력 갭으로 인해 분류법의 지속적 갱신 필요성.
• 개인-수준 vs 사회-수준 위험: 분류법이 개인의 심리적 영향 중심이어서, 사회적 차원의 심리적 위험(예: 집단 우울증, 사회 양극화로 인한 심리적 피해)에 대한 조명 부족.
• 정량화 및 우선순위 결정: 21개의 부정적 심리적 영향을 어떻게 우선순위 지을 것인지, 그리고 개발자 리소스가 제한적일 때 어느 위험부터 해결할지에 대한 프레임워크 부재.
• 후속 연구 방향:
  • (1) 다양한 지역/문화권 참가자를 대상으로 한 교차문화 검증 연구
  • (2) 설계 권장사항의 실제 구현 및 효과 평가 연구
  • (3) 사회적/집단-수준 심리적 위험에 대한 확장 연구
  • (4) 시간의 경과에 따른 AI 모델 진화와 분류법의 동적 갱신 메커니즘

Evaluation

총평: 이 연구는 정신건강 경험자의 목소리를 중심에 두고 AI 대화형 에이전트의 심리적 위험을 체계적으로 분류한 시의적절하고 윤리적인 연구이다. 특히 살아낸 경험 방법론의 도입과 다중경로 비네트 프레임워크는 추상적 위험 분류법을 구체적 설계 개입으로 변환하는 새로운 경로를 제시한다. 다만 표집의 지역적 제한성, 권장사항의 실제 효과 검증 부재, 그리고 빠르게 진화하는 AI 모델에 대한 분류법의 지속성 문제는 향후 개선이 필요한 영역이다.