A Multi-agent Framework for Physical Laws Discovery

Motivation

• Known: AI와 딥러닝은 데이터 패턴 추출에서 성과를 이루었으나, 해석 불가능성(블랙박스)과 데이터 부족 문제가 존재한다. 기호 회귀(symbolic regression)는 해석 가능한 수식 발견의 주요 접근법으로 알려져 있다.
• Gap: 현재 LLM은 할루시네이션과 미검증 주장의 문제가 있으며, 단일 LLM만으로는 과학 발견에 신뢰할 수 없다. 기호 회귀와 LLM을 효과적으로 통합하고 다중 에이전트 검증 메커니즘을 갖춘 프레임워크가 부족하다.
• Why: 해석 가능한 물리 법칙의 발견은 과학적 이해, 일반화, 새로운 개념 틀 형성을 가능하게 하며, 현대 과학에서 AI를 신뢰할 수 있는 협력자로 위치시키기 위해 중요하다.
• Approach: LLM 기반 다중 에이전트 프레임워크를 구축하여 문헌 검토(RAG), 가설 생성, 기호 회귀(빔 탐색 + LLM 반영), 수식 도출 및 해석을 통합했다. 재료과학의 3개 문제에서 검증했다.

Achievement

• 높은 예측 성능: 유리 형성능(GFA) R²=0.94, 경도(hardness) R²=0.86, 영 계수(Young's modulus) R²=0.94 달성", '해석 가능성: 발견된 수식들이 물리·화학적으로 의미 있고 간결하며 검증 가능한 형태
• 일반화 능력: 영 계수 수식이 미검증 4원·5원 합금에 적용되어 기존 혼합 법칙 대비 MAPE 78.8% 개선
• 견고한 프레임워크: 다중 에이전트 반복 검증 메커니즘으로 LLM의 할루시네이션 문제 완화
• 확장 가능성: 재료과학을 넘어 다양한 과학 분야에 적용 가능한 일반적 플랫폼 제시

How

• RAG 기반 문헌 검토: GraphRAG/LightRAG를 이용한 구조화된 지식 베이스 구성으로 변수 및 수학 연산자 추천
• 다단계 프롬프트 설계: 일반 지시, 과제 설명, 수식 메모리, 예시 출력으로 구성된 커스텀 프롬프트
• 빔 탐색 + LLM 반영: 트리 구조의 반복 탐색에서 생성 에이전트가 후보 수식 제안, 평가 에이전트가 점수 계산
• 복합 점수 함수: NMSE(정규화된 평균제곱오차) 오류와 복잡도 λC(f)를 균형있게 결합 (식 1)
• 과학적 해석 검증: 발견된 수식의 물리적 타당성, 일관성, 의미 평가 및 다운스트림 과제에 배포

Originality

• LLM 기반 다중 에이전트 시스템과 기호 회귀의 최초 통합으로 자동 물리 법칙 발견의 새로운 패러다임 제시
• RAG를 활용한 동적 지식 기반 구축으로 LLM의 시간 제한(knowledge cutoff) 문제 극복
• 반복적 피드백과 메모리 메커니즘을 통해 LLM 할루시네이션 완화
• 재료과학의 3개 실제 문제에서 종합적 검증 및 미검증 데이터에서의 일반화 성능 증명

Limitation & Further Study

• 3개 재료과학 문제에만 검증되었으며, 다른 과학 분야(물리학, 생물학 등)에서의 성능 미확인
• 복합 점수 함수의 정규화 파라미터 λ 선택 기준 명확하지 않음
• 노이즈가 많은 실험 데이터에서 기호 회귀의 안정성 및 견고성에 대한 상세 분석 부족
• 계산 비용과 소요 시간에 대한 정량적 분석 미제시
• 후속연구: 더 다양한 과학 영역 적용, LLM 모델 크기 및 파라미터 영향 분석, 물리 제약(physics constraints) 통합, 인간 전문가와의 협력 방식 개선

Evaluation

총평: 본 논문은 LLM 기반 다중 에이전트 시스템과 기호 회귀를 창의적으로 결합하여 해석 가능하고 일반화 가능한 물리 법칙 발견의 새로운 경로를 제시했으며, 재료과학에서 실질적인 성과를 입증했다. 다만 제한된 응용 분야와 기술적 선택사항의 정당성 부족이 보완되어야 한다.