A survey on large language model based autonomous agents

Motivation

Known: 기존 자율 에이전트 연구는 제한된 환경에서 단순한 정책 함수로 학습되어 왔으나, 인간의 학습 과정과 큰 차이가 있다. 최근 LLM이 광대한 웹 지식을 통해 인간 수준의 지능을 보이면서 LLM 기반 에이전트 연구가 급증하고 있다.
Gap: 기존 연구들은 메모리, 계획, 도구 사용 등 다양한 기능을 가진 LLM 기반 에이전트를 제안했으나, 이들을 체계적으로 정리하고 비교하는 종합적 분석이 부족하다. 에이전트 구성, 응용, 평가에 대한 통일된 프레임워크가 필요하다.
Why: LLM 기반 자율 에이전트는 제한된 학습 환경을 벗어나 개방형 도메인에서 인간 수준의 의사결정을 가능하게 하며, 자연언어 인터페이스로 설명 가능성을 제공한다. 이는 AGI(인공 일반지능) 달성의 유망한 접근법으로 인정받고 있다.
Approach: 저자들은 LLM 기반 에이전트를 (1) 아키텍처 설계와 (2) 능력 획득이라는 두 가지 관점에서 분석한다. 프로파일링, 메모리, 계획, 행동 모듈로 구성된 통합 프레임워크를 제안하고, 사회과학, 자연과학, 공학 분야의 응용 사례와 평가 전략을 종합적으로 검토한다.

Fig. 1

통합 아키텍처 프레임워크: 프로파일(Profile), 메모리(Memory), 계획(Planning), 행동(Action) 모듈로 구성된 통일된 LLM 기반 에이전트 설계 프레임워크를 제시하여 기존 다양한 접근법을 체계적으로 정리
에이전트 능력 획득 전략: 핸드크래프팅, LLM 생성, 데이터셋 정렬 등 프로파일 생성 방법과 메모리 관리, 단일/다중 경로 추론 등 기능 강화 전략을 분류
광범위한 응용 도메인: 사회과학(에이전트 시뮬레이션), 자연과학(과학 실험), 공학(소프트웨어 개발) 등 다양한 분야에서의 LLM 에이전트 응용 사례를 체계적으로 분석
평가 방법론: 주관적 평가(인간 평가)와 객관적 평가(자동 메트릭)를 포함한 LLM 기반 에이전트 평가 전략을 종합적으로 검토
연구 동향 분석: 2021년 1월부터 2023년 8월까지의 누적 논문 수 데이터를 통해 LLM 기반 자율 에이전트 연구 분야의 급속한 성장과 다양한 에이전트 카테고리의 출현을 시각화

Fig. 2

에이전트 아키텍처의 네 가지 핵심 모듈을 정의: 프로파일링(역할 정의), 메모리(과거 경험 저장), 계획(미래 행동 계획), 행동(의사결정 실행)
프로파일 생성의 세 가지 전략 분류: 수동 작성(Handcrafting), LLM 자동 생성(LLM-Generation), 데이터셋 정렬(Dataset Alignment)
메모리 구조를 통합 메모리와 하이브리드 메모리로 구분하고 메모리 읽기/쓰기/반성 작업 정의
계획 모듈의 피드백 유무에 따라 분류: 환경 피드백, 인간 피드백, 모델 피드백 활용
행동 모듈의 행동 공간을 도구(Tools), 데이터베이스, 내부 상태, 환경 등으로 정의
2021-2023년 주요 에이전트 모델들(WebGPT, AutoGPT, Generative Agent, Voyager 등)의 시간 순 발표 추적을 통해 분야 발전 과정 분석

논문은 발췌본으로 제시되어 완전한 내용 분석이 제한적이며, 특히 구체적인 응용 사례와 평가 결과의 상세 분석이 부족함
LLM 에이전트의 성능 한계(환각, 추론 오류, 신뢰도 문제) 및 실제 환경 적용 시 발생하는 문제들에 대한 깊이 있는 논의가 필요
메모리 관리의 확장성, 계획 모듈의 계산 효율성, 다중 에이전트 간 협력 메커니즘 등 구현 측면의 도전과제에 대한 구체적 해결 방안 부족
향후 연구 방향으로 에이전트의 안전성과 윤리 문제, 실시간 환경에서의 동적 학습 능력, 도메인 전이(Transfer Learning) 등을 더 깊이 있게 탐구할 필요