Cocoa: Co-planning and co-execution with AI Agents

Motivation

• Known:
  • LLM 기반 AI 에이전트는 추론, 계획, 메모리, 도구 사용 등의 능력이 향상되어 복잡한 작업 수행 가능
  • 기존 선행 연구는 에이전트 중심(agent-guided) 또는 사용자 중심(user-guided) 워크플로우 제시
  • 일부 시스템은 실행 전/후 협업만 지원하고 계획과 실행을 엄격히 분리
• Gap:
  • 대부분의 기존 시스템은 정해진 협업 패턴(prescribed collaborative workflows)을 강제하여 유연성 부족
  • 환경 맥락이나 사용자 선호에 따라 에이전트와 사용자 간 권한을 동적으로 위임할 수 있는 설계 부재
  • 실제 연구 작업에서는 계획과 실행이 깊게 얽혀있는데, 이를 반영한 협업 지원 부재
• Why:
  • 과학 연구는 전문 지식이 필요한 지식 집약적 작업으로, 명확한 정답이 없어 LLM의 자율적 계획이 효과적이지 않음
  • 부분 실행 결과에 따라 계획을 재조정해야 함
  • 사용자는 에이전트와 협력하되, 필요시 에이전트 결과를 수정하고 자신의 전문성을 주입하기를 원함
• Approach:
  • 9명 과학 연구자 대상 형성 연구(formative study) 수행
  • 공동 계획(co-planning), 공동 실행(co-execution), 계획-실행 인터리빙을 지원하는 상호작용 설계 제시
  • 문서 편집기 기반의 Cocoa 시스템 구현 및 평가

Achievement

Cocoa의 사용자 인터페이스 개요: (A) 인터랙티브 계획으로 공동 계획 및 실행 지원, (B) AI 에이전트 할당 단계, (C) 연구자 할당 단계, (D) 사이드바 기반 결과 편집 및 피드백

1. 협업 설계의 유연성: 개별 계획 단계를 사용자 또는 에이전트에 동적으로 할당 가능한 인터페이스 구현. 사용자는 에이전트의 제안을 수용, 거부, 수정할 수 있는 명시적인 선택지 제공
2. 인터리빙 가능성: 계획과 실행을 엄격히 분리하지 않고, 부분 실행 후 계획을 재조정하거나 새로운 단계를 추가할 수 있는 유연한 워크플로우 실현
3. 평가 검증:
   • 랩 연구(n=16): Cocoa가 채팅 기반 베이스라인 대비 조종성(steerability)은 향상시키면서 사용성(ease-of-use) 유지
   • 현장 배포 연구(n=7, 1주일): 실제 연구 작업에서 명시적 업무 위임과 인터리빙이 가치 있음을 확인

How

사용자가 문서의 텍스트에서 "에이전트 호출(Invoke agent)" 버튼을 클릭하여 에이전트 호출

• 공동 계획 단계: 에이전트 호출 시 문서 내에서 직접 실행 계획(plan of action)을 제시하고, 사용자는 단계 편집, 추가, 할당(user/agent) 가능
• 공동 실행 단계: 계산 노트북의 셀(cell) 실행 개념을 차용하여 개별 단계 실행 및 재실행 지원. 사용자는 인터랙티브 사이드바를 통해 에이전트 결과를 편집하고 피드백 제공
• 인터리빙 메커니즘: 실행 결과에 기반하여 계획 재검토, 단계 추가/제거, 재실행 등을 자유롭게 전환 가능. 시스템은 주요 변경 감지 시 후속 단계 재생성 여부 제안
• 피드백 통합: 사이드바 기반 인터랙티브 결과 편집으로 사용자 전문성 주입. 예: 에이전트가 놓친 관련 논문 추가, 오류 정정 등
• 도구 통합: 웹 검색, 정보 추출 등 다양한 도구 활용 가능

Originality

• 새로운 협업 패러다임: 기존 에이전트 중심/사용자 중심 이분법을 넘어, 단계별 동적 권한 위임 모델 제시
• 계획-실행 인터리빙: 부분 실행 후 계획 재조정을 명시적으로 지원하는 설계. 자율 에이전트의 ReAct 개념을 인간-에이전트 협업에 적용
• 문서 통합 설계: 계산 노트북 패러다임을 AI 협업에 차용하여, 사용자의 친숙한 환경(문서 편집기)에서 협업 실현
• 과학 연구 도메인 포커스: 지식 집약적이고 정답이 모호한 도메인에 특화된 협업 설계로, 일반 생산성 도구와 차별화
• 공동 표현 활용: 공유되는 작업(tasks), 역할(roles), 진행률(progress) 표현으로 인간-에이전트 간 명시적 커뮤니케이션 강화

Limitation & Further Study

• 스케일 제한: 평가가 16명(랩) + 7명(필드) 규모로 다양한 과학 도메인과 에이전트 능력을 대표하지 못할 수 있음
• 에이전트 성능 종속성: 시스템의 효과는 기저 LLM 에이전트의 계획 품질에 큰 영향을 받으므로, 에이전트 개선과 동시 진행 필요
• 현장 배포 기간: 1주일 배포는 장기 사용 패턴, 습관 형성, 신뢰도 변화 등을 충분히 반영하지 못함
• 다중 에이전트 협업: 현재는 단일 에이전트 기준 설계로, 여러 에이전트 간 협업 확장 미고려
• 후속 연구 방향:
  • 더 다양한 도메인(공학, 창의적 작업 등)에서의 적용 및 일반화 가능성 탐색
  • 장기 사용성 및 신뢰 관계 진화 조사
  • 에이전트 불확실성 표현 및 사용자 의사결정 지원 강화
  • 협업 패턴의 자동 학습을 통한 적응형 인터페이스 개발

Evaluation

총평: 본 논문은 AI 에이전트와의 장기 협업에서 계획과 실행의 인터리빙, 동적 권한 위임이라는 실질적이고 중요한 설계 문제를 다루며, 체계적인 연구 방법론(형성 연구-설계-이중 평가)과 현장 검증을 통해 신뢰할 수 있는 결과를 제시한다. 특히 과학 연구 도메인의 복잡한 협업 요구를 충족하는 구체적인 설계안을 제안한 점이 실무적 가치가 높다.