Do Users Write More Insecure Code with AI Assistants?

Motivation

• Known: GitHub Copilot, OpenAI Codex 등 AI 코드 어시스턴트가 개발자 생산성을 향상시킬 수 있는 강력한 도구로 부상했으나, 실험실 환경에서 안전하지 못한 코드를 생성할 수 있음이 알려져 있음
• Gap: 기존 연구([17])는 합성 프롬프트로 제한적이었으며, 실제 개발자가 AI 어시스턴트와 상호작용하는 방식과 이것이 보안에 미치는 영향에 대한 대규모 사용자 실험이 부재함
• Why: 실제 사용 맥락에서 AI 코드 어시스턴트의 보안 위험을 이해하고, 사용자의 프롬프팅 전략이 생성 코드의 보안성에 미치는 영향을 분석하는 것이 미래 AI 기반 코드 어시스턴트 설계에 필수적
• Approach: 47명의 참가자를 대상으로 Python, JavaScript, C 세 가지 언어로 5개의 보안 관련 프로그래밍 작업을 수행하는 통제된 사용자 실험 실시 (실험군: AI 어시스턴트 접근 가능, 대조군: AI 어시스턴트 미접근)

Achievement

Figure 2: 솔루션 정확성, 보안에 대한 신뢰도의 사후 설문 조사 응답 (Likert 척도)

1. AI 어시스턴트 접근이 보안 악화: 5개 작업 중 4개에서 AI 어시스턴트 접근 참가자가 더 많은 보안 취약점이 있는 코드를 작성했으며, 다변량 회귀 분석 결과 통계적으로 유의미함 (선행 보안 개념 노출, 프로그래밍 경험, 학생 신분 등을 통제)
2. 과신 문제의 발견: AI 어시스턴트 접근 참가자가 비접근 참가자보다 자신의 코드가 안전하다고 믿을 확률이 더 높았으나, 실제로는 더 많은 취약점 보유 → "거짓 안정감(false sense of security)" 발생
3. 상호작용 전략의 영향 분석: 헬퍼 함수를 포함하거나 명확한 작업 지시를 제공하고, 프롬프트를 반복적으로 재구성하는 사용자들이 더 안전한 코드 생성; 온도 매개변수 조정과 맥락 제공 증대가 보안 개선과 연관

How

Figure 3: 제출된 사용자 코드와 AI 생성 코드 간의 편집 거리(Edit Distance) 히스토그램

Figure 4: 각 질문별 선택된 프롬프트 전략의 비율

• 연구 설계:
  • 대상: 2개 대학의 학부/대학원생 및 4개 기업의 전문 개발자
  • 사전 스크리닝: for-루프 해석 능력 확인
  • 무작위화: 질문 순서 임의 배치로 피로도 효과 제어
• 보안 작업 범위:
  • 암호화/복호화, ECDSA 서명 (암호 라이브러리)
  • 경로 검증 (사용자 제어 데이터)
  • SQL 인젝션, 스크립트 인젝션 위험
  • 버퍼 오버플로우, 정수 오버플로우 (메모리 관리)
• 평가 방법:
  • 정성적 분석: 제출된 코드의 보안 취약점 수동 검토
  • 정량적 분석: 다변량 회귀분석, 프롬프트 언어 및 상호작용 패턴 분석
  • 편집 거리(Edit Distance) 측정: AI 출력과 사용자 최종 제출 코드의 유사도 계산
• 사용자 상호작용 분석:
  • 프롬프트 재구성 빈도, 매개변수 조정(온도), 재귀적 출력 재입력 등 추적
  • 안전한 코드 작성 사용자의 행동 패턴 대비 분석

Originality

• 기존 연구([21])의 한계 극복:
  • 약한 모델(Codex-cushman)이 아닌 강력한 Codex-davinci-002 사용
  • 고정 매개변수가 아닌 사용자가 자유롭게 조정 가능한 환경에서 실험
  • 단일 언어(C)가 아닌 Python, JavaScript, C 다중 언어 포함
• 최초의 대규모 실제 사용 맥락 사용자 연구: 합성 프롬프트 기반이 아닌 실제 개발자의 자연스러운 상호작용 분석
• 포괄적 상호작용 분석 프레임워크: 프롬프트 언어, 재구성 전략, 매개변수 조정 등 사용자 행동을 체계적으로 분류하고 보안 결과와 연계
• 공개 연구 인프라: 실험 UI, 익명화된 데이터, 메타데이터 공개로 재현성 및 후속 연구 촉진

Limitation & Further Study

• 샘플 크기: 47명의 참가자는 중등 규모이며, 더 큰 표본에서 결과의 일반화 가능성 검증 필요
• 모델 특화성: OpenAI Codex-davinci-002에 한정된 분석으로, 다른 모델(GPT-4, InCoder, CodeT5 등)에서 패턴의 일관성 확인 필요
• Q6 설계 실패: 입력 새니타이제이션 질문이 너무 모호하여 분석에서 제외됨 → 향후 웹 보안 취약점 연구의 설계 개선 필요
• 신뢰도 측정의 한계: 자가 보고식 설문(Likert 척도)이 실제 신뢰도를 반영하는지 검증 부족
• 후속 연구 방향:
  • 다양한 AI 모델 및 버전에서의 보안 특성 비교
  • 명시적 보안 지침 및 피드백 메커니즘이 취약점 감소에 미치는 영향
  • 경험 수준별 사용자 세분화 및 맞춤형 개입 전략 개발
  • 실시간 프롬프트 제안 및 위험 경고 시스템의 효과 평가

Evaluation

총평: 본 논문은 AI 코드 어시스턴트의 실제 사용 환경에서의 보안 위험을 최초로 대규모 사용자 실험으로 입증한 중요한 연구로, 특히 사용자 과신 현상의 발견과 상호작용 전략의 영향 분석이 학계와 산업에 귀중한 통찰을 제공한다. 공개 연구 인프라의 제공은 재현성과 후속 연구를 촉진하는 긍정적 기여이며, 다만 단일 모델 기반 분석 및 제한적 표본 크기 등의 한계는 향후 개선이 필요하다.