MetaOpenFOAM: an LLM-based multi-agent framework for CFD

Motivation

• Known: OpenFOAM은 성숙한 오픈소스 CFD 소프트웨어이지만 높은 프로그래밍 기술과 전문 지식을 요구하며, Fluent, COMSOL 같은 상용 소프트웨어도 기술적 복잡성이 남아있음. 단일 LLM은 기하학적 모델링, 물리 모델링, 수치해석을 포함한 복잡한 CFD 문제 해결에 한계가 있음.
• Gap: 복잡한 문제 해결을 위해 LLM의 장점을 활용하되, 단일 LLM의 한계를 극복할 다중 에이전트 시스템(Multi-Agent System, MAS) 기반 CFD 자동화 프레임워크가 부재함.
• Why: 자연언어 기반의 MAS 접근법은 CFD 작업을 서브태스크로 분해하고, 피드백 루프를 통해 점진적으로 결과를 개선할 수 있어, CFD 시뮬레이션의 진입장벽을 크게 낮출 수 있음.
• Approach: MetaGPT의 조립라인 패러다임으로 역할 기반 에이전트 협업 구조를 구현하고, Langchain의 RAG 기술로 OpenFOAM 튜토리얼 데이터베이스를 통합하여 LLM의 전문성을 강화함.

Achievement

역할 및 액션별 절제 연구 결과: 각 에이전트와 RAG의 필요성 검증

1. 높은 자동화 성공률: 8개의 CFD 시뮬레이션 벤치마크 테스트에서 85% pass@1 성공률 달성, 케이스당 평균 비용 $0.22로 경제성 확인
2. 광범위한 물리 문제 커버: DNS, RANS, LES를 포함한 다양한 난류 모델, 압축성/비압축성 유동, 열전달, 연소 등 다차원 유동 문제 8가지에서 안정적 작동
3. 에러 자동 수정 능력: Reviewer 에이전트가 시뮬레이션 오류를 식별하고 InputWriter와의 피드백 루프를 통해 자동 수정, 사용자 개입 최소화
4. 일반화 능력 입증: 사용자 요구사항의 주요 매개변수 식별 및 수정, 버그 자동 수정, 인간 참여를 통한 시뮬레이션 성능 향상 가능

How

Langchain 기반 검색증강생성(RAG) 프로세스: OpenFOAM 튜토리얼 데이터베이스 구축 및 유사 사례 검색

프레임워크 구조

• Architect: 자연언어 요구사항을 해석하고, RAG를 통해 데이터베이스에서 유사 사례 검색, 입력 아키텍처 생성
• InputWriter: Architect의 지시에 따라 OpenFOAM 입력 파일 작성 및 수정, 오류 발생 시 재작성
• Runner: Allrun 스크립트 작성 및 실행, CFD 시뮬레이션 수행, 오류 발생 시 컨텍스트 제공
• Reviewer: 실행 오류 분석, 파일 아키텍처 검토, 오류 원인 파악 후 InputWriter로 피드백 전달

RAG 기반 지식 강화

• OpenFOAM 공식 문서를 청크 단위로 분할하여 벡터 스토어(FAISS) 구축
• 사용자 쿼리와 유사한 청크를 검색하여 LLM 프롬프트에 추가
• "파일 작성" 액션에는 파일 콘텐츠 문서, "Allrun 작성" 액션에는 OpenFOAM 명령어 문서 활용

반복적 오류 수정

• 시뮬레이션 실패 시 최대 반복 횟수 또는 토큰 예산까지 루프 계속
• Reviewer의 오류 분석을 바탕으로 InputWriter가 파일 수정
• 모든 오류가 해결되거나 리소스 한계 도달 시 종료

Originality

• 첫 자동 CFD 프레임워크: 자연언어만으로 메시 생성부터 후처리까지 전체 CFD 워크플로우를 자동화하는 최초의 다중 에이전트 시스템 제시
• 역할 기반 에이전트 설계: MetaGPT의 조립라인 패러다임을 CFD 도메인에 적용, 각 에이전트의 책임을 명확히 분리하여 복잡한 작업을 체계적으로 분해
• 도메인 특화 RAG: OpenFOAM 튜토리얼 데이터베이스를 벡터화하여 각 액션별로 최적화된 컨텍스트 정보를 제공, LLM의 전문성 향상
• CFD 자동화 벤치마크 구성: 자연언어 기반 CFD 솔버 평가를 위한 최초 벤치마크 데이터셋 제시 (8개 테스트 케이스, 다양한 난류 모델 및 물리 과정 포함)

Limitation & Further Study

• 불완전한 자연언어 요구사항: 프레임워크는 자연언어 입력이 기본 정보(케이스명, 범주, 솔버, 메시, 경계조건, 초기조건)만 포함한다고 가정하여, 완전히 모호한 요구사항 처리 능력은 제한적
• LLM 온도 의존성: 낮은 온도(0.01)에서만 안정적 결과 달성, 온도 0.5에서 성능 급저하로 인해 모델의 견고성(robustness) 개선 필요
• 계산 비용: 평균 비용이 $0.22로 경제적이지만, 반복적 오류 수정으로 인한 누적 비용 증가 가능성 미평가
• 복잡한 메시 생성 미지원: 현재 메시는 사용자가 제공하는 것으로 가정, 자동 메시 생성 기능 부재로 실제 산업 적용 시 제약
• 후속 연구 방향:
  • 더 견고한 LLM 또는 앙상블 방식으로 온도 의존성 극복
  • 자동 메시 생성 기능 통합 (Salome, Gmsh 등과 연동)
  • 대규모 병렬 CFD 작업 지원
  • 다양한 오픈소스 CFD 도구(SU2, ANSYS Fluent) 확장

Evaluation

총평: MetaOpenFOAM은 다중 에이전트 LLM과 RAG 기술을 창의적으로 결합하여 CFD 자동화의 새로운 패러다임을 제시하는 가치 있는 연구이다. 높은 성공률(85%)과 경제성($0.22/케이스)은 산업 적용 가능성을 보여주지만, 메시 자동 생성 부재, 낮은 온도 의존성, 제한된 벤치마크 규모는 실제 엔드-투-엔드 CFD 솔루션으로 발전하기 위해 개선이 필요한 부분이다.