Mechanistic interpretability for ai safety–a review

Motivation

• Known: 전통적 해석가능성 연구는 입출력 관계 분석(행동적), 그래디언트 기반 귀속(attributional), 개념 탐사(concept-based) 등 표면적 또는 부분적 접근에 제한됨
• Gap: AI 시스템이 복잡해질수록 개별 신경원(neuron)의 역할, 특징(feature)의 표현, 회로(circuit) 단위의 계산 메커니즘에 대한 종합적 이해 부족
• Why: AI 안전성, 가치 정렬, 재앙적 결과 방지를 위해서는 모델의 정확한 내부 계산 구조 파악이 사회적 명령(societal imperative)
• Approach: 신경망 표현의 기본 단위인 특징(feature)부터 출발하여 슈퍼포지션(superposition), 선형성 가설(linearity hypothesis), 회로 분석, 계산 모티프(motif) 등 핵심 개념과 방법론을 체계적으로 정리

Achievement

기계론적 해석가능성의 핵심 개념: 특징 정의(defining features), 표현(representation), 계산(computation), 창발성(emergence)

1. 해석가능성 패러다임의 명확한 분류: 기계론적 해석가능성을 행동적, 귀속적, 개념기반 접근과 구분하며, 인지신경과학으로의 패러다임 전환을 강조 — 심리학의 행동주의에서 인지신경과학으로의 진화에 비유
2. 핵심 개념 체계화: 특징(feature)의 정의(Definition 1: "신경망 표현의 기본 단위로 더 이상 분해할 수 없는 독립적 요소")부터 폴리시맨틱 뉴런(polysemantic neurons), 슈퍼포지션 가설, 선형성 가정 등을 정리
3. 포괄적 방법론 조사: 인과적 해부(causal dissection), 프로브(probe) 기법, 회로 추적, 모티프 분석 등 다양한 기법의 장단점 분석
4. AI 안전성과의 연계: 능력 향상(capability gains), 이중 용도 우려(dual-use concerns) 등 위험 요소와 제어, 정렬, 이해 측면의 이점을 균형있게 검토

How

특권적 기저(privileged basis)와 비특권적 기저(non-privileged basis): 모노시맨틱 vs. 폴리시맨틱 뉴런의 대조

• 특징 정의 체계화 (Section 3.1):
  • 특징을 신경망의 불가분적(irreducible) 표현 원자로 정의
  • 입력 패턴 기반 특징뿐 아니라 자연 추상화(natural abstractions)로 기능하는 추상적 특징 포함
  • 인간 해석가능성을 초월하는 외계인 표현(alien representations) 인정
• 표현의 성질 분석 (Section 3.2):
  • 폴리시맨틱 뉴런 문제: 단일 뉴런이 다양한 의미 없는 특징 혼합
  • 슈퍼포지션 가설(superposition hypothesis): 고차원 공간에 더 많은 특징이 중첩 인코딩
  • 선형 표현 가설(linear representation hypothesis): 신경망의 높은 수준 표현이 선형 구조 유지
  • 특권적 기저(privileged basis) vs. 비특권적 기저 비교
• 계산 메커니즘 추출 (Section 3.3):
  • 회로(circuit) 분석: 특정 행동을 유발하는 신경원 간의 인과적 연결 규명
  • 모티프(motif): 반복되는 계산 패턴 또는 부분회로
  • 보편성 가설(universality hypothesis): 다양한 모델에서 유사한 회로 구조 출현
• 창발성 이해 (Section 3.4):
  • 시뮬레이션 가설: 신경망이 세계 모델(world models) 내재
  • 예측 직교성(prediction orthogonality): 표현 공간의 구조적 성질
  • 내부 에이전트 출현 시뮬레이션과 정렬 불일치 위험

Originality

• 첫 번째 종합 리뷰: 기계론적 해석가능성의 최초 포괄적 학술 논문 형태 리뷰 (기존은 블로그, 리스트 형식)
• 개념 체계화: "특징", "회로", "모티프" 등 산재된 개념들을 일관된 프레임워크(Figure 2)로 통합
• AI 안전성 연계의 구체성: 추상적 주장을 넘어 이중 용도 문제, 능력 향상 위험, 정렬 문제(misaligned agents) 등 구체적 안전성 이슈 분석
• 패러다임 전환 강조: 심리학/신경과학 유추를 통해 행동주의적 평가에서 내부 메커니즘 이해로의 패러다임 전환의 필연성 논증
• 비인간중심적 관점: 특징을 인간 해석가능성에 국한하지 않는 모델 독립적 관점으로 정의 (미래 AI의 초인간적 표현에 대비)

Limitation & Further Study

• 확장성 도전: Transformers 언어모델 중심의 기존 연구를 시각(vision), 강화학습(reinforcement learning) 등 다른 영역으로 확대 필요
• 자동화 부재: 회로 탐색, 특징 추출 등 대부분의 프로세스가 수동/반자동으로, 대규모 모델에 확장 불가능
• 포괄적 해석 미달성: 대규모 모델의 전체 행동을 설명하는 완전한 역공학 불가능 (부분적 회로만 식별 가능)
• 인과성 검증의 한계: 인과적 개입(causal intervention) 기법이 제한적이며, 슈퍼포지션 가정 하에서 인과관계 규명의 어려움
• 후속 연구 방향:
  • 개념 정의 명확화 (특징, 회로, 모티프의 형식적 정의)
  • 표준화된 벤치마크 및 평가 지표 수립
  • 자동화된 특징 발견 및 회로 추출 알고리즘
  • 비전, RL 등 다중 모달리티 확대
  • 슈퍼포지션 환경의 해석가능성 방법론 개발

Evaluation

총평: 본 논문은 기계론적 해석가능성을 처음으로 포괄적으로 정리한 가치 있는 리뷰이며, AI 안전성과의 강한 연계를 통해 분야의 중요성을 부각하였으나, 개념의 형식적 정의 강화와 더 급진적인 후속 방향 제시가 있다면 더욱 임팩트 있는 기여가 될 수 있을 것으로 판단된다.