Automated Extraction of Mechanical Constitutive Models from Scientific Literature using Large Language Models: Applications in Cultural Heritage Conservation

Motivation

• Known: 문화유산 보존은 디지털 트윈과 예방적 보존(Preventive Conservation) 패러다임으로 전환 중이며, 고충실도 수치 시뮬레이션(특히 유한요소해석, FEA)이 필수적이다. 수십 년간 로마 콘크리트, 비잔틴 석조, 역사적 목재 등 유산 재료의 기계적 특성에 관한 실험 연구가 축적되었다.
• Gap: 이러한 귀중한 지식이 수천 개의 PDF 문헌에 단편적으로 산재되어 있으며, 통일된 데이터베이스가 없다. 다양한 표기법, 방정식 형식, 매개변수 정의로 인해 "데이터 사일로(Data Silo)" 문제가 발생하고, 연구자들은 광범위한 문헌 검토 또는 부정확한 핸드북 값에 의존할 수밖에 없다.
• Why: 기존 NLP 및 규칙 기반 접근법은 (1) 다중 양식 복잡성(수식, 표, 이미지 혼재), (2) 수학적 "노이즈" 속에서 최종 모델 식별의 어려움, (3) 기호 접지(symbolic grounding) 문제—예: E는 영률(Young's modulus) 또는 활성화 에너지(activation energy)일 수 있음—, (4) 산재된 맥락 정보 추출의 한계를 극복하지 못한다.
• Approach: LLM의 제로샷/소수샷 학습, 문맥 이해, 복잡한 지시 따르기 능력을 활용한 2단계 에이전트 프레임워크를 개발한다. 비용 효율적인 "게이트키퍼(Gatekeeper)" 에이전트로 관련 논문을 선별하고, 고성능 "분석가(Analyst)" 에이전트가 맥락 인식 기호 접지(Context-Aware Symbolic Grounding) 메커니즘을 통해 정밀 추출을 수행한다.

Achievement

추출된 구성 메커니즘의 분포. 프레임워크가 성공적으로 분류한 모델 유형들

프레임워크의 정량적 평가. (a) 추출 성능의 혼동 행렬, (b) 정확도-재현율 곡선

1. 구조화된 유산 재료 구성 모델 데이터베이스 구축: 2,000여 편의 논문 스크리닝을 통해 엄격한 기준을 충족하는 113개의 고품질 연구를 선별했으며, 185개의 구성 모델 인스턴스와 450개 이상의 보정된 매개변수를 포함한 체계적 저장소를 구축했다.
2. 높은 추출 정확도 및 효율성 달성: 80.4%의 추출 정확도(precision)를 달성했으며, 휴먼-인-더-루프(Human-in-the-loop) 워크플로우를 통해 수동 데이터 큐레이션 시간을 약 90% 단축했다. 2단계 에이전트 설계로 계산 비용을 대폭 절감하면서도 높은 정밀도를 유지했다.
3. 웹 기반 지식 검색 플랫폼 개발: 연구자들이 계산 모델링을 위한 매개변수를 신속하게 발견할 수 있는 실용적 도구를 제공하며, 정적 문헌을 쿼리 가능한 디지털 자산으로 변환했다.
4. 문화유산의 "디지털 재료 트윈(Digital Material Twin)" 기초 마련: 산재된 문헌을 체계적으로 통합하여 향후 고충실도 수치 시뮬레이션과 과학 기반 보존 의사결정을 가능하게 했다.

How

정성적 추출 사례 연구. Jeffreys형 점탄성(Viscoelastic) 모델의 추출 프로세스

2단계 에이전트 프레임워크 설계

• Stage I (게이트키퍼): 저비용 LLM을 사용하여 광범위한 관련성 기준으로 문헌을 필터링. 계산 자원 효율성 극대화.
• Stage II (분석가): 고성능 LLM이 정밀 추출 작업을 수행. 다음 핵심 기능 포함:
  • 맥락 인식 기호 접지(Context-Aware Symbolic Grounding): 수학적 기호의 모호성을 해결. 동일 기호의 다양한 물리적 의미를 문맥으로부터 판별.
  • 장거리 의존성 추적: 논문의 논리적 흐름을 이해하여 최종 기여 모델을 임시 도출 단계나 선행 모델과 구분.
  • 다중 양식 처리: 수식, 표, 산문 설명을 통합적으로 해석.

데이터 처리 파이프라인

• PDF 파싱 및 직렬화: 반구조화 PDF 데이터를 기계 가독형 텍스트 스트림으로 변환하면서 수학적 내용 무결성 보존. 헤드-절단 전략(Head-Truncation Strategy) 적용—주요 메타데이터는 논문 초반에 집중되므로 처리 범위 최적화.
• 관련성 필터링: 불필요한 문서는 조기에 제외하여 전체 시스템 효율성 향상.
• 구조화된 데이터베이스 저장: 추출된 모델과 매개변수를 엄격한 스키마에 따라 JSON 형식으로 저장하여 상호 운용성과 검색 용이성 확보.

웹 기반 지식 검색 플랫폼

자동화된 데이터 수집 인터페이스. 추출 결과의 상세 뷰

• 범위 제한 매개변수 쿼리 기능으로 다운스트림 수치 시뮬레이션에 적합한 데이터 신속 검색 지원.
• 사용자 친화적 인터페이스로 엔지니어와 과학자의 접근성 향상.

Originality

• LLM 기반 자동 추출의 선구적 적용: 문화유산 재료 구성 모델링 분야에 LLM을 활용한 최초의 체계적 접근. 기존 규칙 기반/NLP 방법의 한계를 명확히 하고 새로운 해결책 제시.
• 맥락 인식 기호 접지 메커니즘의 창안: 수학적 기호의 다중 의미(polysemy)를 문맥으로부터 추론하는 혁신적 기법. 도메인 특화 지식 추출에 새로운 기준 제시.
• 2단계 에이전트 설계의 경제성과 효능: 저비용 스크리닝과 고성능 분석의 계층적 결합으로 대규모 코퍼스(2,000+ 논문) 처리를 실현. 계산 비용과 정확도의 최적 균형 달성.
• 실제 도메인 문제의 실질적 해결: 단순한 학술적 기여를 넘어 문화유산 보존 커뮤니티의 실제 "데이터 사일로" 문제를 해결하는 실용적 시스템 구축.

Limitation & Further Study

• 정확도 한계: 80.4%의 추출 정확도는 높지만, 복잡한 비선형 또는 다중물리 모델에서는 여전히 20% 정도의 오류율이 존재. 특히 고차 도함수나 암묵적 표현이 많은 고급 모델에서 성능 저하.
• 데이터 소스 제한: arXiv 프리프린트 저장소에만 의존하여 피어 리뷰된 저널 논문이나 그레이 리터러처(보고서, 학위논문 등) 포함 필요. 논문 출판 편차로 인한 샘플 편향 가능성.
• 매개변수 검증 부족: 추출된 매개변수의 물리적 타당성 검증 메커니즘이 제한적. 이상값(outlier) 및 오류 추출에 대한 자동 탐지 시스템 강화 필요.
• 도메인 외삽 위험: 특정 재료/조건에서 보정된 모델을 다른 조건에 무분별하게 적용할 위험. 모델 적용 범위(범위 명시)와 신뢰도 정보 자동 추출 개선 필요.
• 언어 다양성: 현재 주로 영문 논문 처리. 중국어, 프랑스어, 이탈리아어 등 다국어 문헌 포함으로 글로벌 문화유산 데이터 통합 필요.

후속 연구:

• 더 정교한 오류 감지 및 자동 검증 시스템 개발 (물리적 차원 분석, 합리성 체크)
• 멀티모달 LLM 모델 도입으로 도표 및 이미지 내 정보 추출 강화
• 교차 검증 및 피어 검토 메커니즘 통합
• 실제 보존 프로젝트에서의 현장 검증 및 피드백 루프

Evaluation