AI for Science — Paper Curation

AlphaFold는 아미노산 서열만으로 단백질의 3차원 구조를 원자 수준의 정확도로 예측하는 딥러닝 모델로, 50년 이상의 단백질 폴딩 문제를 근본적으로 해결한 획기적인 성과이다.

이 논문은 50년 이상 미해결된 단백질 폴딩 문제를 딥러닝으로 거의 완전히 해결한 역사적 성과로, 진화적 정보와 기하학적 제약을 창의적으로 통합한 혁신적 아키텍처를 제시하며, 구조 생물학과 생의학 연구에 패러다임 전환을 가져왔다.

AlphaFold 3는 단백질, 핵산, 소분자, 이온, 변형된 잔기를 포함한 생체분자 복합체 구조를 통합된 딥러닝 프레임워크 내에서 정확하게 예측하는 모델이다. 확산 기반(diffusion-based) 아키텍처를 통해 기존 특화된 도킹 및 예측 도구들을 크게 능가하는 성능을 달성했다.

AlphaFold 3는 확산 기반 생성 모델을 생체분자 구조 예측에 혁신적으로 적용하여, 단백질부터 리간드, 핵산까지 모든 유형의 복합체를 통합 프레임워크로 정확하게 예측함으로써 구조생물학과 약물 설계 분야에 패러다임 전환을 가져오는 매우 중요한 기여이다.

 *VibeGen의 워크플로우: (A) 정상 모드 데이터베이스 구축, (B) 이중 에이전트 아키텍처를 통한 설계, (C) 분자동역학 시뮬레이션으로 검증* 단백질의 생물학적 기능은 구조뿐만 아니라 동적 움직임에 의존하므로, 본 논문은 정상 모드 진동(normal mode vibration)을 조건으로 하는 **VibeGen** 프레임워크를 제시하여 목표 동역학 특성을 갖는 신규 단백질 설계를 가능하게 함.

본 논문은 단백질의 동역학적 특성을 명시적 설계 조건으로 통합한 혁신적 접근법을 제시하며, 이중 에이전트 협력을 통해 정확성과 다양성을 동시에 달성한 점이 특징임. 분자동역학 시뮬레이션 검증으로 신뢰성을 확보했으나, 다중 모드 확장성과 계산 비용 측면에서 개선 여지 존재.

단백질의 동역학적 특성을 직접 제어할 수 있는 생성형 AI 프레임워크 VibeGen을 제시하며, 이는 정규 모드(normal mode) 진동을 기반으로 새로운 단백질 서열을 설계할 수 있다.

이 연구는 단백질 설계에 동역학적 고려를 체계적으로 통합한 혁신적 시도로, 이중 에이전트 협력 프레임워크를 통해 de novo 단백질을 생성하는 데 성공했다. 전원자 MD 기반 검증으로 신뢰성을 확보했으나, 실험적 검증, 다중 모드 확장, 생물학적 기능성 입증이 후속 과제이다.

 *QH9 데이터셋과 벤치마크의 목표 및 내용: 양자 텐서 네트워크가 해밀턴 행렬 예측을 위해 구성되며, 안정적/동적 데이터셋과 포괄적 평가 지표가 포함됨* 본 논문은 QM9 데이터셋을 기반으로 999개 또는 2998개의 분자 동역학 궤적 및 130,831개의 안정 분자 기하구조에 대한 정밀한 해밀턴(Hamiltonian) 행렬을 제공하는 새로운 양자 해밀턴 데이터셋 QH9를 제시하며, 밀도범함수이론(DFT) 계산 가속화를 위한 머신러닝 모델 개발을 지원한다.

QH9는 양자화학 머신러닝 분야에서 필수적 인프라 역할을 할 수 있는 야심찬 벤치마크로서, 대규모 다양한 데이터와 포괄적 평가 지표를 제시한 점이 매우 우수하나, 실제 양자 텐서 네트워크 구현의 성능 검증과 더 광범위한 화학계 포함이 이루어진다면 더욱 강력한 기여가 될 것으로 판단됨.

본 연구는 RFdiffusion 신경망의 항체 특화 미세조정을 통해 원자 수준의 정확도로 사용자가 지정한 에피토프(epitope)에 결합하는 항체 가변 영역(VHH, scFv)을 완전히 컴퓨터 기반으로 설계할 수 있음을 처음으로 입증했다. 초기 계산 설계부터 효율성 성숙(affinity maturation)까지 체계화된 파이프라인을 제시하고 크라이오-EM 구조 검증으로 설계 정확도를 확인했다.

생의학 문헌의 급증에 따라 생의학 텍스트 마이닝의 중요성이 높아지고 있으나, 일반 도메인에서 사전학습된 BERT를 직접 적용하면 어휘 분포의 차이로 인해 성능이 저하되는 문제를 해결하기 위해, 저자들은 PubMed와 PMC 생의학 코퍼스에서 추가 사전학습한 BioBERT를 제안하여 명명된 개체 인식(NER), 관계 추출(RE), 질의응답(QA)에서 기존 최고 성능 모델을 능가하는 성과를 달성했다.

BioBERT는 도메인 특화 사전학습의 중요성을 명확히 입증하며, 생의학 텍스트 마이닝 커뮤니티에 실질적이고 즉시 활용 가능한 기여를 제공한 연구다. 공개된 모델과 코드는 이후 생의학 NLP 분야의 발전을 견인한 중요한 기초 자산이 되었다.

본 논문은 언어 모델(Language Models, LMs)을 추론 능력과 도구 사용 능력으로 확대하는 증강 언어 모델(Augmented Language Models, ALMs)에 대한 포괄적인 조사 논문이다. ALMs는 복잡한 작업을 단순한 부작업으로 분해하거나 외부 모듈(코드 인터프리터, 검색 엔진 등)을 활용하여 기존 LMs의 해석 가능성, 일관성, 확장성 문제를 해결할 수 있다.

본 논문은 빠르게 발전하는 ALM 분야를 체계적으로 정리한 우수한 서베이로, 추론과 도구 사용을 통합적으로 다루고 명확한 분류체계를 제시하여 커뮤니티에 실질적 기여를 한다. 다만 일부 핵심 개념의 철학적 기초가 여전히 명확하지 않다는 한계가 있다.

 *Figure 1: The main architecture of the survey: domain gap taxonomy, overarching insights on methodologies, and future tr* 구현 로봇(embodied agents)을 위한 크로스 도메인 정책 전이(cross-domain policy transfer) 방법들을 체계적으로 검토한 종합 서베이. 시뮬레이션, 실험실 등 저비용 소스 도메인의 데이터를 실제 환경(타겟 도메인)에 효과적으로 전이하는 기술들을 분류 및 분석.

이 서베이는 크로스 도메인 정책 전이 분야의 첫 체계적 검토로서, 분산된 연구들을 통합하고 도메인 갭을 명확히 분류하여 해당 분야에 중요한 기초 자료를 제공한다. 로봇 학습과 구현 AI의 실세계 배포를 위한 필수적인 기술 영역을 포괄적으로 정리하여 향후 연구 방향을 제시하는 가치 있는 기여이다.

 *Fig. 2* 본 논문은 대규모 언어모델(LLM)을 기반으로 한 자율 에이전트의 구성, 응용, 평가에 대한 체계적 종합 리뷰를 제시한다. LLM의 광범위한 지식과 인간 수준의 지능을 활용하여 자율적 의사결정이 가능한 에이전트 구축 방법론을 통합 프레임워크로 제안한다.

본 논문은 LLM 기반 자율 에이전트 분야의 급속한 성장 속에서 기존 연구들을 체계적으로 정리하고 통합 프레임워크를 제시한 중요한 종합 리뷰이다. 에이전트 구성, 응용, 평가에 대한 포괄적 분석을 통해 향후 연구의 방향성을 제시하며, 분야 진입 연구자들에게 필수적인 배경 지식을 제공한다.

대규모언어모델(LLM)을 기반으로 학술논문 검색, 분석, 리뷰 생성을 전자동화하는 엔드-투-엔드 방법론을 제시하며, 통계적으로 검증된 평가 프레임워크를 통해 생성된 리뷰가 인간 전문가 수준과 동등 이상의 품질을 달성함을 입증한다.

본 논문은 LLM 기반 자동화 리뷰 생성의 실용적 구현을 보여주는 가치 있는 연구이며, 이중 기준선 평가 및 다층 품질 관리 전략은 신뢰할 수 있는 학술 AI 도구 개발의 중요한 사례입니다. 다만 PDH 촉매 단일 분야 검증과 대규모 모델 의존성은 광범위한 채택을 제한할 수 있어, 다양한 분야 검증과 소형 모델 최적화 연구가 후속되면 더욱 강화될 것으로 예상됩니다.

 *폐루프 최적화 프레임워크: 대규모 언어모델(LLM)과 유한요소법(FEM) 모듈을 통합하여 구조 설계를 자동으로 생성, 평가, 개선* 본 논문은 사전학습된 대규모 언어모델(Large Language Model, LLM)을 유한요소법(Finite Element Method, FEM)과 결합하여 도메인 특화 미세조정 없이 구조 설계를 자율적으로 생성하고 반복 개선하는 프레임워크를 제안한다. 특히 2D 트러스 구조 최적화에서 NSGA-II와 같은 전통 최적화 방법보다 빠른 수렴과 적은 FEM 평가 횟수를 달성했다.

본 논문은 사전학습된 LLM을 FEM과 결합하여 도메인 특화 학습 없이 자율적 설계 최적화를 달성하는 창의적 프레임워크를 제시한다. 다목적, 이산 최적화 문제에서 전통 방법보다 효율적임을 보여주는 점이 강점이나, 2D 트러스 사례 검증, 수렴성 이론 부재, 실제 공학 문제로의 확장성 검증이 필요한 상태이다.

 *그림 1: LLM 기반 멀티에이전트 연구 분야의 상승 추세. 문제 해결 및 세계 시뮬레이션 범주에서 최근 연구를 3개월 간격으로 분류.* 대규모 언어모델(LLM)의 계획 및 추론 능력을 활용하여 여러 자율 에이전트가 협력하는 멀티에이전트 시스템(LLM-MA)이 복잡한 문제 해결과 세계 시뮬레이션에서 상당한 진전을 이루고 있다. 본 논문은 LLM 기반 멀티에이전트 시스템의 필수 측면(에이전트-환경 인터페이스, 프로파일링, 통신, 능력 획득)과 도메인 적용을 체계적으로 정리한 종합 서베이이다.

본 논문은 급속히 발전하는 LLM 기반 멀티에이전트 연구 분야에 대한 체계적이고 포괄적인 서베이를 제공하며, 에이전트-환경 인터페이스, 프로파일링, 통신, 능력 획득이라는 4가지 핵심 차원으로 LLM-MA 시스템을 분석하는 새로운 프레임워크를 제시하여 학술적 가치가 높다. 다만 이론적 분석의 깊이와 실제 적용 시 마주칠 수 있는 확장성, 신뢰성 문제에 대한 논의가 보강된다면 더욱 실용적인 자료가 될 것으로 예상된다.

본 논문은 대규모 언어모델(Large Language Models, LLM)을 진화 알고리즘(Evolutionary Algorithms, EA)의 연산자로 활용하여 조합 최적화 문제를 해결하는 최초의 시도를 제시한다. LLM 기반 진화 알고리즘(LMEA)은 도메인 전문 지식 없이도 자연어 명령만으로 부모 선택, 교차(crossover), 돌연변이(mutation) 연산을 수행할 수 있다.

본 논문은 대규모 언어모델을 진화 알고리즘의 연산자로 활용하는 창의적이고 참신한 패러다임을 제시하며, 추가 훈련 없이 자연어만으로 최적화 문제를 해결할 수 있는 가능성을 보여준다. 다만 제한된 문제 규모와 LLM의 높은 계산 비용이 실제 응용의 장애물이 될 수 있으므로, 향후 대규모 복잡한 실무 문제로의 확장과 프롬프트 최적화 방법론 개발이 필요하다.

 *PIORS의 전체 프레임워크. 상단은 SFMSS 프레임워크, 하단은 환자, 접수 간호사(PIORS-Nurse), 임상의, 정보 보조원으로 구성된 PIORS의 상세 구조* 중국의 과포화 외래 접수 업무를 해결하기 위해 대규모언어모델(LLM) 기반 다중 에이전트 시스템을 제안하고, 실제 임상 시나리오에 맞춘 의료 대화 데이터 생성 프레임워크를 통해 개인화된 고품질 접수 서비스를 제공한다.

실제 의료 현장의 구체적인 문제를 해결하기 위해 LLM 기반 멀티 에이전트 시스템과 현실 기반 시뮬레이션 데이터 생성을 효과적으로 결합한 우수한 연구이며, 임상 전문가 검증을 통해 실용성을 입증했으나, 다양한 의료 환경으로의 일반화 가능성 검증이 필요한 상황이다.

 *Figure 2: C2S-Scale는 scRNA-seq 데이터와 자연언어를 통합하여 LLM을 이용한 단일세포 분석 수행* 단일세포 RNA 시퀀싱 데이터를 "세포 문장(cell sentence)" 형태의 텍스트로 변환하여 대규모언어모델(LLM)로 처리하는 Cell2Sentence 프레임워크를 270억 개의 파라미터로 확장함으로써, 전사체 데이터와 생물학적 텍스트 정보를 통합한 차세대 단일세포 분석 플랫폼을 구현했다.

이 논문은 대규모 LLM의 스케일링 효과를 단일세포 생물학에 처음 체계적으로 입증하고, 전사체 데이터와 자연언어의 통합을 전례 없는 규모(50M 세포, 1B 토큰)로 달성한 획기적 연구이다. Cell2Sentence 프레임워크의 우아한 설계, GRPO 강화학습 응용, scFID 평가 지표 개발 등에서 높은 독창성을 보이며, 공개 모델 및 자원 공개로 생물학 커뮤니티에 실질적 기여를 할 것으로 예상된다. 다만 해석가능성 부재와 계산 비용 측면에서는 개선이 필요하며, 논문의 일부 기술적 세부사항(특히 GRPO 적용 방식, scFID 검증 방법)이 다소 간략하게 기술된 점이 아쉽다.

DNA 서열로부터 유전자 발현을 예측하는 문제에서 Transformer 기반 자기주목(self-attention) 메커니즘을 통해 100 kb까지의 장거리 규제 요소를 통합함으로써 예측 정확도를 획기적으로 향상시킨 연구이다.

본 논문은 Transformer의 자기주목 메커니즘을 통해 DNA 서열로부터의 유전자 발현 예측이라는 오랜 문제를 실질적으로 해결하며, 다양한 생물학적 검증을 통해 모델의 생물학적 타당성까지 입증한 매우 높은 수준의 연구이다. 특히 장거리 규제 상호작용 통합이라는 생물학적 직관을 기술적으로 구현하고, 인간 유전학의 여러 응용 분야에서 즉각적인 임상 가능성을 제시한 점에서 높이 평가된다.

 *생물 및 화학 영역의 과학적 언어(분자, 단백질, 게놈, 텍스트) 및 멀티모달 조합을 포괄하는 과학 LLM의 연구 범위* 본 논문은 생물학 및 화학 분야의 특화된 과학 언어를 처리하도록 설계된 대규모 언어 모델(과학 LLM)에 대한 최초의 포괄적 조사연구다. 텍스트, 분자(SMILES, SELFIES), 단백질(아미노산 서열), 게놈(DNA 서열) 및 이들의 멀티모달 조합을 다루며, 모델 아키텍처, 학습 데이터셋, 평가 방법론을 상세히 분석한다.

본 논문은 빠르게 성장하는 과학 LLM 분야의 첫 포괄적 리뷰로, 분자·단백질·게놈·멀티모달 영역을 통합 분석한 점에서 기여도가 크다. 다만 이론적 혁신보다는 기존 모델들의 체계적 종합에 가까우며, 도메인 간 비교 분석 및 실제 과학적 임팩트 검증은 향후 과제로 남아있다.

본 논문은 대규모 언어모델(Large Language Models, LLMs)이 텍스트 기반 통찰을 실험적 발견으로 변환함으로써 재료과학에 새로운 패러다임을 창출하고 있음을 체계적으로 제시한다. Oracle(지식 추출), Surrogate(성질 예측), Quant(불확실성 정량화), Arbiter(의사결정)라는 4가지 핵심 역할 프레임워크를 통해 LLM의 역할을 구조화하고, 향후 발전 방향을 제시한다.

본 논문은 LLM을 단순 텍스트 생성 도구를 넘어 재료과학의 통합적 연구 파트너로 재위치시키는 탁월한 관점 논문으로, 향후 자동화 실험실과 지능형 재료 발견의 방향을 제시한다. 다만, 이론적 프레임워크에 비해 구체적 구현과 실증적 검증이 강화될 필요가 있다.

AI 기반 과학 검색 엔진(LLM, Large Language Model 기반)이 문헌 검토를 가속화할 수 있지만, 정확성 문제와 할루시네이션(hallucination) 위험으로 인해 신중한 사용과 검증이 필수적이다.

이 기사는 빠르게 발전하는 AI 검색 엔진 시장을 시의성 있게 정리하고 실제 사용자의 경험과 함께 할루시네이션 문제를 구체적으로 제시하여, 연구자들이 이 도구들을 신중하게 활용하도록 돕는 데 기여한다. 다만 정량적 분석이 부족하고 기술적 개선 방안이 충분히 심화되지 않은 점이 아쉽다.

 *그림 1: AI for Science의 선택된 연구 분야에 대한 통합 개요. 양자, 원자단위, 연속체 시스템을 아우르는 다양한 분야들과 이들을 관통하는 공통 기술 과제들을 시각화* 이 논문은 AI4Science의 핵심 세 영역(양자역학, 원자단위 시스템, 연속체 시스템)에 걸쳐 심층적이고 통합된 기술 리뷰를 제공한다. 특히 대칭성(symmetry)과 등변성(equivariance)을 핵심 원리로 하여 이들을 심층 학습 방법에 어떻게 통합하는지를 기술적으로 상세히 설명한다.

이 논문은 AI4Science 분야의 상태를 정리한 매우 포괄적이고 기술적 깊이 있는 기여이다. 특히 대칭성과 등변성을 통합 원리로 제시하고 이를 양자부터 연속체까지의 다양한 과학 문제에 적용한 점은 이 분야의 이론적 기초를 확립하는 중요한 작업이다. 다만 개별 방법론의 원창성보다는 기존 기술들의 체계적 정리와 통합에 초점이 맞춰져 있으며, 이론-실제 간의 구체적 성능 비교나 새로운 벤치마크 제시는 제한적이다. 역할로서는 리뷰 논문의 위상에 충실하면서도 교육적-지침적 가치가 매우 높은 작업으로, AI4Science 연구자들의 필수 참고문헌이 될 것으로 예상된다.

 *그림 1: AI4Research의 주요 프로세스와 범주 - 5가지 핵심 영역: (1) 과학 이해도 (Scientific Comprehension), (2) 학술 조사 (Academic Survey), (3) 과학적 발견 (Scientific Discovery), (4) 학술 저술 (Academic Writing), (5) 학술 동료평가 (Academic Peer Review)* 본 논문은 대규모 언어모델(LLM) 발전에 따라 과학 연구 전 과정을 자동화하는 AI 기술의 현황을 포괄적으로 조사한 첫 번째 통합 서베이 논문이다. 과학 이해, 문헌 조사, 가설 생성, 논문 작성, 동료평가 등 5가지 주요 영역으로 AI4Research를 체계적으로 분류하고 자원을 통합한다.

본 논문은 급속도로 발전하는 AI 기반 연구 자동화 분야에 대한 첫 번째 포괄적 로드맵을 제시하는 중요한 기여로, 체계적 분류, 미래 방향 제시, 실용적 리소스 통합을 통해 학술 공동체에 즉시적 가치를 제공한다. 다만 아직 초기 단계의 기술이 많고 자동화 실험의 신뢰성 검증이 심화되어야 할 과제이다.

 *그림 1: 이 연구의 2단계 연구 설계 및 심리적 위험 분류법 개요. 1단계에서는 283명을 대상으로 한 설문조사를 통해 심리적 위험 분류법을 개발하고, 2단계에서는 워크숍(N=7, 3세션)을 통해 설계 권장사항을 도출* AI 대화형 에이전트 사용으로 인한 심리적 위험을 살아낸 경험(lived experience)을 기반으로 체계적으로 분류하고, AI 행동-심리적 영향-사용자 맥락 간의 복잡한 상호작용을 다중경로 비네트 프레임워크로 분석하여 안전한 AI 설계를 위한 실행 가능한 권장사항을 제시한 연구이다.

이 연구는 정신건강 경험자의 목소리를 중심에 두고 AI 대화형 에이전트의 심리적 위험을 체계적으로 분류한 시의적절하고 윤리적인 연구이다. 특히 살아낸 경험 방법론의 도입과 다중경로 비네트 프레임워크는 추상적 위험 분류법을 구체적 설계 개입으로 변환하는 새로운 경로를 제시한다. 다만 표집의 지역적 제한성, 권장사항의 실제 효과 검증 부재, 그리고 빠르게 진화하는 AI 모델에 대한 분류법의 지속성 문제는 향후 개선이 필요한 영역이다.

 *Survey 구조 및 주요 연구 영역 분류* 생성형 AI와 파운데이션 모델(Foundation Models)의 급속한 발전으로 자연어처리, 컴퓨터 비전, 멀티모달 학습이 혁신되고 있으며, 본 논문은 이들 기술의 아키텍처, 학습 전략, 그리고 10개 주요 응용 분야에 걸친 통합적 분석을 제공한다. 기존의 단일 도메인 중심 리뷰와 달리, 이 논문은 크로스 도메인 비교 프레임워크를 통해 GenAI 연구의 구조적 이해를 가능하게 한다.

본 논문은 GenAI와 파운데이션 모델의 급속한 발전을 체계적으로 정리한 포괄적 리뷰로, 기존의 분야별 고립된 분석을 극복하고 크로스 도메인 비교 프레임워크를 제시함으로써 학술 커뮤니티에 높은 가치를 제공한다. 다만 폐쇄형 모델의 투명성 부족과 기술의 빠른 진화로 인한 시간적 한계는 완전한 기술 검증을 제약하며, 향후 방법론적 엄밀성 강화 및 책임 있는 AI 거버넌스 연구로의 발전이 기대된다.

 *인간 연구자가 수행하는 과학 연구 과정의 예: 명시적 반증(falsification)이 경험적 또는 이론적 실험을 통해 가설을 검증 또는 반박하는 중요한 단계임* 본 논문은 자율 AI 에이전트가 전체 과학 연구 프로세스를 독립적으로 완수하여 과학적 발견을 도출할 수 있는 AI 생성 과학(AIGS) 시스템을 제안한다. 특히 포퍼(Popper)의 과학 철학에 기반하여 **반증(falsification)**을 과학 연구의 핵심으로 재정의하고, 이를 명시적으로 구현하는 BABY-AIGS 시스템을 개발했다.

본 논문은 포퍼의 반증주의를 AI 과학 시스템의 핵심 원리로 되살려낸 중요한 작업으로, 기존 AIGS 연구의 근본적 결함을 지적하고 해결책을 제시했다. 자율적 반증 메커니즘의 도입은 conceptually 우수하나, 실제 구현의 복잡성과 성능 한계로 인해 "baby-step"이라는 겸손한 자기평가가 타당하다. 향후 반증 능력의 일반화와 성능 향상에 따라 AIGS 분야의 중요한 이정표가 될 가능성이 높다.

미국 국립연구소(Argonne National Laboratory)의 실제 배포 사례를 통해 과학 조직의 과학자와 운영 담당자들이 생성형 AI를 어떻게 사용하고 있으며, 어떤 우려사항을 가지고 있는지를 실증적으로 규명한 연구이다.

조직 현실에 기반한 생성형 AI 도입의 실증적 증거를 제시하며, 특히 과학 조직과 보안 민감 환경의 고유한 우려를 조명한 중요한 연구이다. 초기 도입 단계의 제한을 고려하면, 향후 종단적 후속 연구와 함께 과학 조직의 생성형 AI 거버넌스 구축에 실질적 기여를 할 것으로 예상된다.

고에너지 핵물리 실험(sPHENIX, EIC)에서 고속 데이터 처리 및 자동 검출기 제어를 위해 그래프 신경망(GNN)과 FPGA 기반 머신러닝을 실시간으로 구현하는 연구로, 15 kHz 트리거 제한을 극복하고 미처 저장되는 90% 데이터에서 희귀 무거운 쿼크 신호를 추출한다.

본 연구는 고에너지 핵물리 실험의 데이터 병목을 해결하기 위해 최신 그래프 신경망과 FPGA 기술을 창의적으로 결합하였으며, 특히 실시간 나노초 지연 구현은 차세대 고에너지물리 실험의 새로운 패러다임을 제시하는 가치 있는 연구이다. 다만 실제 검출기 환경 검증 및 EIC 프로토타입 구현이 진행 중이므로, 최종 결론을 위해서는 2025년 전체 시스템 성능 테스트 결과를 기대해야 한다.

본 보고서는 2025년 AAAI 회장 패널이 AI 연구의 현재 상황과 미래 방향을 17개 주제에 걸쳐 종합적으로 분석한 결과물이다. 급속히 진화하는 AI 역량에 따른 연구 주제, 방법론, 연구 커뮤니티, 작업 환경의 다각적 변화를 체계적으로 정리하고, 475명의 AAAI 커뮤니티 응답자 의견을 수렴한 현실적 평가 보고서이다.

본 보고서는 AAAI 커뮤니티의 다층적 합의를 바탕으로 AI 연구의 다면적 변화(기술, 조직, 윤리, 지정학)를 포괄적으로 조망한 중요한 메타-분석이다. 특히 "형식 추론과 신경망 기반 추론의 보완", "학제 간 협력의 필수성", "지정학적 경쟁의 거버넌스 영향" 등 숨은 긴장 관계를 명시화한 점이 돋보인다. 다만 설문 통계의 세부 공개, 각 주제별 우선순위 제시, 구체적 실행 로드맵 수립으로 보고서의 처방적(prescriptive) 가치를 높일 여지가 있다.

 *그림 1: AI/AE 플랫폼을 이용한 고속화된 MIECP 탐색. 플랫폼은 OECT 제조 및 측정을 위한 자동화 워크플로우와 진행 모니터링, 실행 가능한 데이터 인사이트 생성, 시간 경과에 따른 새로운 인간 입력 및 인사이트 적응을 결합한 의사결정 인텔리전스를 위한 AI 조언자로 구성* 본 논문은 데이터 부족 문제를 극복하기 위해 AI 조언자 기반의 인간-AI 협업 인터페이스를 탑재한 적응형 자동실험 플랫폼을 개발하여, 혼합 이온-전자 전도 고분자(MIECP)의 유리 전도 성능(μC*)을 64회의 자동실험으로 150% 향상시켰다.

본 논문은 데이터 제약 환경에서 인간-AI 협업 인터페이스를 통해 자동실험의 효율성을 획기적으로 높인 중요한 사례 연구이다. AI 조언자 개념의 도입과 동적 적응형 워크플로우는 전자 재료 발견 분야의 실용적 혁신을 의미하며, MIECP에서의 구체적 성과와 새로운 지식 발견은 재료과학적 기여도도 우수하다. 다만 플랫폼의 일반화 가능성 검증과 AI-인간 상호작용의 형식화된 이론이 후속 과제로 남아 있다.

 *Figure 2: The taxonomy of AI in research (AI4Research) is categorized into five key areas. Each area is* 대규모 언어모델(LLM)의 발전에 힘입어 AI4Research(과학 연구를 위한 AI) 분야의 전체 생태계를 체계적으로 정리한 종합 서베이논문. 과학적 이해, 학술 조사, 과학 발견, 논문 작성, 동료 검토의 5개 주요 작업을 분류하고 다학제적 응용과 자원을 제시한다.

AI 기술이 과학 연구의 전 주기에 걸쳐 응용되는 새로운 시대에 대한 가장 포괄적이고 체계적인 현황 진단 및 향후 방향 제시. 2,000개 이상의 자원과 구체적 분류 체계를 제공함으로써 이 분야의 연구자들에게 실질적 가치를 제공하지만, 윤리·안전·신뢰성 문제의 심화 분석이 필요하다.

연구자와 학생들을 위한 AI 도구 선택 가이드로, 문헌 검토부터 데이터 분석, 논문 작성까지 연구 과정의 각 단계별로 활용할 수 있는 최신 AI 플랫폼들을 실제 사용자 경험 사례와 함께 소개한다.

이 논문은 AI가 연구 환경에 본격적으로 정착하는 과정에서 학생과 초급 연구자들을 위한 실용적 나침반 역할을 수행하며, 특히 실제 사용자 경험을 통해 도구별 장단점을 명확히 제시함으로써 높은 정보 가치를 제공한다. 다만 성능 비교, 윤리적 고려, 장기적 영향 분석 등의 심화 논의가 부재하여 학술 리뷰로서의 깊이는 제한적이다.

 *Figure 1: AI와 사회과학의 교집합 개요. "AI for social science"와 "social science of AI"의 두 방향으로 구분하여 분석* 본 논문은 대규모 언어모델(LLM)의 발전을 기반으로 AI와 사회과학의 결합을 "**AI for social science**"(도구로서의 AI)과 "**social science of AI**"(연구 대상으로서의 AI)의 두 가지 방향으로 체계적으로 분류하고, 각 방향의 연구 현황, 한계, 미래 방향을 종합적으로 검토하는 서베이 논문이다.

 *AutoML이 LLM 생명주기(사전학습, 미세조정, 추론)의 모든 단계에 적용될 수 있으며, 각 단계의 서로 다른 목표, 하이퍼파라미터, 설계 결정에 맞춰 조정되어야 함을 보여줌* 본 논문은 AutoML(자동 기계학습)과 LLM(대규모 언어 모델)의 상생적(symbiotic) 통합을 제안하며, 양 분야가 서로를 어떻게 강화할 수 있는지를 포괄적으로 탐색한다. AutoML이 LLM 최적화에 가져오는 도전과제, LLM이 AutoML 개선에 제공하는 기회, 그리고 통합 과정에서 발생할 수 있는 위험을 체계적으로 분석한다.

본 논문은 AutoML과 LLM의 상생적 통합에 대한 최초의 포괄적 분석으로, 현실적인 도전과제 규정과 함께 양방향 기회를 체계적으로 제시함으로써 향후 연구 방향을 명확히 한다. 다만 개념적 수준의 제안이 많고 구체적 구현 사례가 부족한 점이 아쉬우며, 제시된 위험 요소에 대한 미티게이션 전략 개발이 후속 연구의 중요한 과제가 될 것으로 예상된다.

 *CoAuthor 데이터셋: 63명의 작가와 GPT-3의 4개 인스턴스 간 1445개 쓰기 세션에서 수집된 인간-AI 협력 상호작용* 본 논문은 GPT-3의 창작 및 논증적 글쓰기 지원 능력을 탐구하기 위해 설계된 대규모 인간-AI 협력 글쓰기 데이터셋 CoAuthor를 제시하며, 상호작용 데이터셋 분석을 통해 언어 모델의 역량을 HCI 관점에서 체계적으로 이해할 수 있음을 보여준다.

본 논문은 대규모 언어 모델의 인간-AI 협력 능력을 체계적으로 탐구하기 위한 새로운 데이터셋-중심 방법론을 제시하며, 공개된 CoAuthor 데이터셋과 재생 인터페이스는 HCI 커뮤니티에 매우 실질적인 자산이 될 것으로 예상된다. 다만 단일 모델에 대한 분석과 제한된 작업 범위의 확대가 향후 과제이다.

 *HumanEval 데이터셋에서 모델 크기에 따른 통과율. 단일 샘플 생성 시 Codex-12B는 28.8%, 100개 샘플 생성 후 단위 테스트 통과 샘플 선택 시 77.5% 달성* GitHub 코드로 미세조정된 GPT 기반의 Codex 모델을 제시하고, 새로운 벤치마크인 HumanEval을 통해 함수형 정확성(functional correctness) 기반의 평가 체계를 제안한 논문이다. Codex는 도큐스트링(docstring)으로부터 Python 함수를 생성하는 능력에서 기존 모델들을 크게 능가한다.

이 논문은 코드 생성 모델의 평가 체계를 근본적으로 개선하고 실용적 벤치마크를 제공함으로써 프로그래밍 합성 분야에 중대한 기여를 했다. Codex 모델의 실제 성능은 놀라울 정도이나, 평가 범위의 한정과 윤리적 논의의 깊이 부족이 아쉬움.

 *Long CoT와 Short CoT의 구별: 깊은 추론(Deep Reasoning), 광범위한 탐색(Extensive Exploration), 실현 가능한 반성(Feasible Reflection)의 세 가지 핵심 특성* OpenAI-o1과 DeepSeek-R1 같은 추론 대형언어모델(RLLMs)의 성공은 장문의 체인오브쏘트(Long CoT) 특성에 기인하며, 본 논문은 Long CoT와 전통적 Short CoT의 구별, 핵심 특성, 그리고 관련 현상들에 대한 최초의 종합적 분석을 제공한다.

본 논문은 RLLMs의 중심 기술인 Long CoT를 처음으로 체계적으로 분석한 중요한 종합 설문으로, 명확한 분류 체계와 풍부한 사례를 제공하여 후속 연구의 지도를 제시한다. 다만 이론적 깊이와 일부 현상의 설명이 추가 발전의 여지를 남긴다.

 *그림 2: 질의응답에 적용된 RAG 프로세스 - 인덱싱, 검색, 생성의 3단계* 대규모 언어모델(LLM)의 환각(hallucination), 지식 노후화, 추론 과정의 불투명성을 해결하기 위해 외부 데이터베이스에서 관련 정보를 검색하여 생성 과정을 보강하는 **Retrieval-Augmented Generation (RAG)** 기술을 종합적으로 분석한 논문이다. 본 논문은 RAG의 발전 단계를 Naive RAG, Advanced RAG, Modular RAG로 체계화하고 각 단계의 핵심 기술과 평가 방법론을 상세히 제시한다.

본 논문은 RAG 분야의 최초 대규모 종합 조사로서 체계적인 분류 체계와 기술 트리를 제시하여 학계와 산업계의 RAG 이해를 크게 향상시킨 의미 있는 기여를 했다. 다만 개별 기술의 정량적 성능 비교와 실무 적용 시 의사결정 가이드라인이 보강되면 더욱 가치 있는 자료가 될 것이다.

 *ToolBench에서 보고된 성능과 재현된 성능의 비교: 몇 개월 후 동일한 설정에서 재현했을 때 상당한 성능 저하 발생* 대규모 언어 모델(LLM)이 도구를 활용하는 능력을 평가하기 위해 안정적인 벤치마크가 필수적인데, 기존 ToolBench는 실시간 API의 불안정성으로 인해 결과 재현성이 떨어진다. 본 논문은 가상 API 서버와 안정적인 평가 시스템을 통해 이 문제를 해결한 StableToolBench를 제안한다.

StableToolBench는 기존 대규모 도구 학습 벤치마크의 재현성 위기에 대한 실질적이고 효과적인 해결책을 제시한다. 특히 API 불안정성과 평가 시스템의 약점을 동시에 해결한 점이 가치 있으나, LLM 기반 시뮬레이터의 신뢰성 검증과 장기 안정성 보장 측면에서 보완이 필요하다.

 *다양한 NLP 작업에 LLM 적용 예시 (수학적 추론, 기계 번역, 정보 추출, 감정 분석)* 본 논문은 ChatGPT와 같은 대규모 언어모델(LLM)의 자연언어처리(NLP) 분야 응용을 체계적으로 조사한 첫 종합 서베이로, LLM이 기존 NLP 작업을 어떻게 해결하고 있으며 앞으로의 전망은 무엇인지를 다룬다.

본 논문은 LLM 시대 NLP 분야의 현황을 최초로 체계적으로 정리한 중요한 서베이로, 파라미터 동결/튜닝 이분법적 분류는 실무자들에게 명확한 의사결정 기준을 제공한다. 다만 제공된 본문이 제한적이어서 각 NLP 작업별 LLM의 실제 성능 한계 및 도전 과제에 대한 심화 논의가 추가된다면 더욱 완성도 높은 자료가 될 것으로 기대된다.

 *ScienceQA 데이터 예시: 인간 주석 CoT와 LLM 생성 CoT 비교. LLM 생성 CoT가 더 많은 외부 지식을 포함함* 본 논문은 대형 언어 모델(LLM)이 생성한 연쇄적 사고(Chain-of-Thought, CoT) 신호를 혼합하여 과학 문제 해결 능력을 갖춘 소규모 학생 모델을 학습하는 T-SciQ 프레임워크를 제안한다. 인간 주석의 비용 문제와 정보 손실을 극복하기 위해 두 가지 유형의 자동 생성 교수 신호를 결합하는 혁신적인 데이터 혼합 전략을 도입한다.

T-SciQ는 간단하면서도 효과적인 데이터 혼합 전략을 통해 멀티모달 과학 추론에서 획기적 성능을 달성했으며, 특히 값비싼 인간 주석을 완전히 제거하면서도 정보 풍부한 LLM 신호로 우수한 학생 모델을 양성한 점이 실무적 가치가 높다. 다만 계산 비용 분석과 다양한 도메인으로의 확장 가능성 검증이 향후 보완되어야 한다.

 *Figure 1: AI 보조 과학 연구 워크플로우 및 남은 과제들의 개요. 문헌 검색부터 동료 평가까지 각 단계에서 AI 지원의 현황과 한계를 보여줌.* 대규모 다중모드 언어 모델(LLM)의 등장으로 과학 연구가 AI 기반의 기술적 변환의 임계점에 도달했으며, 본 논문은 문헌 검색, 실험 설계, 콘텐츠 생성, 동료 평가에 이르는 전체 연구 생명주기에서 AI의 역할을 체계적으로 검토하는 종합 서베이이다.

이 논문은 급속히 발전하는 AI4Science 분야에 대한 종합적이고 구조화된 첫 번째 가이드로서, 신입 연구자부터 정책결정자까지 폭넓은 대상에게 높은 참고가치를 제공한다. 특히 윤리 및 연구 무결성 논의의 통합은 기술 발전을 넘어선 책임 있는 과학 지원 시스템 구축에 중요한 기초를 마련한다. 다만 내러티브 접근법의 한계로 인한 완전성 부족과 빠르게 변화하는 분야에서의 시간성 격차 극복이 과제이다.

 *Fig. 2: An evolution process of the four generations of language models (LM) from the perspective of task solving capaci* 대규모 언어모델(LLM)의 발전 과정을 통계적 언어모델부터 신경망 언어모델, 사전학습 언어모델을 거쳐 현재의 생성형 대규모 모델까지 체계적으로 조사한 종합 서베이 논문이다.

이 서베이는 대규모 언어모델의 발전 역사와 핵심 기술을 체계적으로 정리한 매우 시의적절한 종합 자료로, 연구자와 실무자 모두에게 LLM의 현황을 이해하는 데 필수적인 참고자료이다.

 *Fig. 1: The song of humanity is a song of courage. The diagram depicts the continuum of scientific inquiry spanning from* 본 논문은 과학 분야 대규모 언어 모델(Scientific Large Language Models, Sci-LLMs)의 발전을 데이터 중심으로 종합 분석하는 설문연구로, 270개 이상의 사전/후학습 데이터셋과 190개 이상의 벤치마크를 검토하여 과학 AI의 로드맵을 제시한다.

본 설문연구는 과학 AI의 발전을 데이터 중심으로 종합적으로 분석하는 최초의 시도로, 혁신적인 분류체계와 광범위한 실증 분석을 통해 Sci-LLMs의 현황을 명확히 하고 자율 에이전트 기반 폐쇄 루프 시스템이라는 미래 방향을 제시한다. 과학 분야 AI의 로드맵으로서 높은 학술적 가치와 실용적 중요성을 가지고 있으나, 실제 구현 방안에 대한 상세한 기술과 각 도메인별 심화 분석은 후속 연구로 남겨져 있다.

 *Figure 1: Retrieval-Augmented Generation (RAG) meets* 본 논문은 Retrieval-Augmented Generation (RAG)과 Large Language Models (LLMs)의 통합인 RA-LLMs에 대한 종합적인 설문조사로, 아키텍처, 훈련 전략, 응용 분야의 세 가지 기술적 관점에서 기존 연구를 체계적으로 리뷰한다.

본 논문은 RAG와 LLMs의 통합이라는 시대적 요구에 부응하여, 기술적 관점에서 가장 체계적이고 포괄적인 설문조사를 제공한다. Hallucination 문제 해결, 최신 정보 활용, 도메인 특화 응용 등의 실제 가치와 함께 아키텍처-훈련-응용이라는 명확한 분류 체계를 제시함으로써 RA-LLMs 연구 분야의 중요한 기준점이 될 것으로 기대된다.

 *Agentic RAG의 전체 개요* 대규모 언어모델(LLM)의 정적 학습 데이터 의존성을 극복하기 위해 자율 AI 에이전트를 RAG 파이프라인에 통합한 Agentic RAG 시스템에 대한 포괄적인 설문 논문이다. 이는 반성(reflection), 계획(planning), 도구 활용(tool use), 다중 에이전트 협력을 통해 동적 검색 전략과 적응형 워크플로우를 가능하게 한다.

본 논문은 RAG에서 Agentic RAG로의 패러다임 진화를 체계적으로 정리하고 실무 구현을 위한 실질적 가이드를 제공하는 우수한 설문 논문이다. 다만 신규 알고리즘 개발이나 대규모 실증적 검증이 부재하여 기여도에는 한계가 있으며, 향후 Agentic RAG의 성능 벤치마킹과 윤리적 검증 연구가 필요하다.

 *Figure 2: Glossary of Terms and Schematic of Electronic Circuit Principles (ECP).* Large Language Models의 추론 능력을 전자회로 원리(Electronic Circuit Principles, ECP)로 모델링하여, 맥락 내 학습(in-context learning)과 사고의 연쇄(chain-of-thought)의 출현을 설명하고 성능을 예측하는 통합 프레임워크를 제시한다.

본 논문은 LLM의 추론 능력을 전자회로 원리로 우아하게 모델링하여 성능 예측과 최적화를 위한 통일된 이론적 토대를 제공한다. 광범위한 실증 검증과 경쟁 성과로 실용성을 입증했으나, 파라미터 추정 방식의 명확화와 더 다양한 모델/도메인 검증이 필요하다.

 *SurveyX의 전체 파이프라인: 준비 단계(Part 1: 논문 검색 및 자료 전처리)와 생성 단계(Part 2: 논문 작성 및 개선)로 구성* arXiv에 매년 증가하는 학술 논문의 폭증 속에서, 대형언어모델(LLM)을 활용하여 체계적이고 고품질의 학술 서베이를 자동 생성하는 SurveyX 시스템을 제안한다. 이 시스템은 온라인 참고문헌 검색, AttributeTree 전처리 방법, 그리고 다단계 최적화를 통해 기존 자동 서베이 생성 시스템의 한계를 극복한다.

SurveyX는 LLM 기반 자동 서베이 생성의 실용적 한계를 체계적으로 해결하고, 온라인 검색, 지능형 전처리, 멀티모달 확장을 통해 기존 AutoSurvey 대비 명확한 성능 향상을 입증한 의미 있는 연구이나, 평가의 포괄성과 방법론의 이론적 깊이 강화가 필요하다.

본 논문은 물리학 연구에 특화된 대규모 AI 모델인 Large Physics Models (LPMs)의 개발과 평가를 위한 로드맵을 제시하며, 대규모 언어모델(LLM)과 기초모델(Foundation Model)을 물리학 커뮤니티의 협력 구조로 통합하는 방안을 제안한다.

본 논문은 물리학-AI 연계의 미래 방향을 학제간 협력과 철학적 성찰을 포함하여 창의롭게 제시한 중요한 비전 문서이나, 구체적인 기술 구현 방안과 실행 가능성 평가가 미흡하여 다음 단계의 파일럿 연구로 보완되어야 함.

 *그림 1: 미세조정된 65B LLaMA 모델이 생성한 가설의 예시로, 기존 문헌의 발견과 유사한 결과를 도출함* 대규모언어모델(LLM)이 학습되지 않은 과학 가설을 제시할 수 있으며, 생성된 가설이 실제 출판된 문헌과 일치하는 검증 가능한 내용임을 입증하는 연구이다. 특히 불확실성 증가가 영점 학습(zero-shot) 가설 생성 능력을 향상시킨다는 발견을 제시한다.

본 논문은 LLM의 과학적 가설 생성 능력을 형식적으로 검증하는 선구적 연구로, 시간 기반 데이터셋 분할과 불확실성의 긍정적 역할이라는 흥미로운 발견을 제시한다. 그러나 평가 메트릭의 정의 부족, 생의학 도메인 한정, 그리고 실제 과학적 유효성 검증의 미흡함으로 인해 기술적 완성도가 다소 낮으며, 추가적인 실험과 엄밀한 분석이 필요하다.

 *Figure 1: Taxonomy of Methods for Scientific Hypothesis Generation (SHG).* 대규모언어모델(LLM)을 활용한 과학적 가설 생성 방법을 종합적으로 조사한 논문으로, 기존 방법부터 최신 LLM 기반 프레임워크까지 체계적으로 분류하고 평가 전략 및 향후 방향을 제시한다.

이 논문은 급속히 진화하는 LLM 기반 가설 생성 분야에 대한 시의적절한 종합 조사로서, 명확한 분류체계와 미래 방향 제시로 학문적 가치가 있다. 다만 실증적 평가 부족과 표준화된 벤치마크 부재는 후속 연구에서 보완되어야 할 중요한 과제이다.

ChatGPT와 같은 AI 기반 언어 모델(language model)의 급속한 확산에 따라, 과학 논문 작성 시 이러한 도구의 활용에 대한 명확한 지침과 모범 사례를 제시하는 논설(editorial) 논문이다. 저자들은 AI 언어 봇의 강점과 제한점을 균형 있게 분석하여 책임감 있는 사용을 촉구한다.

ChatGPT의 급속한 확산에 선제적으로 대응하는 책임감 있는 에디토리얼로, 과학적 창의성 보호와 윤리성 강조라는 핵심 메시지를 효과적으로 전달한다. 다만 강제성 있는 정책 수립이나 기술적 검증 방안은 후속 과제로 남아있다.

 *그림 1: ChartLlama의 다양한 능력 시연. 제안된 데이터 생성 파이프라인을 기반으로 한 instruction-tuning 데이터셋을 구축하고, 이를 통해 차트 이해 및 생성 능력 획득* 기존 멀티모달 대형언어모델(LLM)들이 일반적인 시각-언어 작업에서는 우수하나, 차트 해석 같은 특정 도메인 데이터 이해에는 크게 부족하다는 문제를 해결하기 위해, **GPT-4 기반의 자동화된 3단계 데이터 생성 파이프라인**을 제안하고, 이로부터 학습한 **ChartLlama**가 기존 벤치마크에서 최고 성능을 달성한 연구다.

차트 이해에 특화된 멀티모달 LLM 개발이라는 명확한 목표 하에, GPT-4 기반의 체계적이고 유연한 데이터 생성 파이프라인을 제시하고, 이로부터 기존 벤치마크에서 우수한 성능을 달성한 의미 있는 연구다. 다만 합성 데이터 의존도, 실제 데이터 일반화, 규모 한계 등에 대한 추가 검증이 필요하며, 공개된 데이터셋과 모델이 차트 AI 연구 커뮤니티에 미칠 파급력은 클 것으로 예상된다.

 *언어 모델이 객체를 기계에 올려놓는 상호작용을 통해 인과관계를 파악해야 하는 블리켓 테스트* 언어 모델(LM) 에이전트는 인과관계 추론에서 선언적(disjunctive, OR) 규칙에는 능하지만 결합적(conjunctive, AND) 규칙에서 체계적으로 편향되어 있으며, 이러한 편향이 인간 성인의 인지 편향과 유사함을 보여주는 연구이다.

본 논문은 언어 모델의 인과추론 편향을 심리학 패러다임과 연계하여 처음으로 체계적으로 규명하였으며, 인간 행동과의 정량적 비교를 통해 모델이 훈련 데이터의 인지 편향을 상속함을 실증했다. 제안된 가설 제거 방법은 이론적 근거가 명확하고 성능 개선이 유의미하나, 더 복잡한 인과 구조와 다양한 추론 시나리오로의 확장 가능성 검증이 필요하다. 자율 에이전트의 과학적 추론 능력 강화라는 중요한 문제를 다루는 높은 수준의 연구이다.

본 연구는 LLM(대규모 언어모델) 기반 에세이 작성이 신경 인지적 비용을 초래하는지를 뇌파(EEG) 분석을 통해 규명했으며, 4개월 추적 결과 LLM 의존 사용자가 신경, 언어, 행동 모든 수준에서 성능 저하를 보였다.

AI 교육 도입의 신경 비용을 첫 규명한 획기적 연구로, LLM 의존이 "인지 부채"를 누적시킨다는 명확한 증거를 제시했다. EEG, NLP, 정성 데이터의 통합이 설득력 높으나, 인과 메커니즘의 깊이와 장기 가역성 검증이 향후 과제이다. 교육자, 정책입안자, AI 개발자 모두에게 시사적인 중요 논문이다.

 *그림 1: (a) 순수 텍스트 근거를 사용하는 T-MCoT와 (b) 이미지-텍스트 교차 근거를 생성하는 I-MCoT의 비교* 대규모 비전-언어 모델(LVLM)의 멀티모달 체인-오브-쏘트(MCoT) 추론에서 **시각적 사고(Visual Thoughts)**라는 통합된 메커니즘을 발견하였으며, 이는 텍스트 기반과 이미지 교차 방식의 MCoT 모두를 설명하는 새로운 관점을 제시한다.

본 논문은 멀티모달 추론 분야의 오랜 논쟁(T-MCoT vs I-MCoT)에 "시각적 사고"라는 새로운 이론적 렌즈를 제공함으로써 개념적 통합을 이루었으며, 4가지 표현 전략의 체계적 분류는 향후 MCoT 방법론 개발의 로드맵을 제시한다. 다만 내부 메커니즘 분석의 기술적 깊이와 실제 성능 이득에 대한 정량적 검증이 보강된다면 더욱 영향력 있는 기여가 될 것으로 예상된다.

 *Fig. 2: Left: Overview of the reasoning tasks introduced in this survey, as detailed* 파운데이션 모델(Foundation Models)의 추론(Reasoning) 능력을 체계적으로 조사한 종합 서베이로, 다양한 추론 작업, 방법론, 벤치마크를 다루고 멀티모달 학습, 자율 에이전트, 슈퍼 정렬과의 연관성을 논의한다.

이 서베이는 파운데이션 모델의 추론 능력을 다루는 분야에서 현재까지의 연구 성과를 가장 포괄적으로 정리한 중요한 자료이며, 특히 멀티모달 및 에이전트 추론이라는 최신 방향을 반영하고 지속적 갱신 계획을 제시함으로써 학계에 큰 기여를 할 것으로 예상된다.

 *ChartSketcher의 개요: 중간 추론 및 반성 과정(점선)과 각 단계의 스케치 출력* 본 논문은 멀티모달 대규모 언어 모델(MLLM)이 차트를 이해할 때 시각적 피드백을 통한 반복적 스케칭(Sketch-CoT)으로 추론 과정을 개선하는 방법을 제안한다. 인간의 인지 행동에서 영감을 받아, 모델이 중간 추론 단계를 차트에 직접 주석 처리하고 이를 다시 입력으로 제공하여 멀티모달 상호작용을 통한 깊이 있는 이해를 실현한다.

ChartSketcher는 인간의 시각적 추론 행동에서 영감을 받아 MLLM의 차트 이해 능력을 향상시키는 혁신적 방법론을 제시하며, 체계적인 데이터 구축과 두 단계 훈련 전략으로 실증적 효과를 입증했으나, 계산 효율성과 프로그래밍 오버헤드 문제에 대한 충분한 분석이 필요하다.

 *사용자 연구 절차 개요: 참가자가 최근 발표한 논문에서 두 개의 그림 캡션을 AI 생성 캡션을 활용하여 다시 작성함* 본 논문은 18명의 논문 저자가 최신 AI 모델이 생성한 캡션을 자신의 논문 작성 과정에 어떻게 통합하는지 실제 사용자 연구를 통해 조사했으며, 저자들이 AI 생성 캡션을 복사-수정하는 방식으로 활용하되 긴 형식의 상세한 캡션을 선호함을 발견했다.

본 논문은 AI 캡션 생성 연구에서 중요한 공백을 메우며, 저자의 실제 작성 과정을 관찰하는 참신한 접근법을 제시했다. 정성 연구로서 상호작용 분석은 견고하고 실용적 시사점을 도출했으나, 표본 크기와 도메인 다양성 측면에서 일반화 가능성이 제한되며, 향후 더 대규모 정량 연구와 모델 개선 제안으로 발전할 여지가 있다.

 *그림 1: 기존 다중 사고 통합 방법(a)은 단일 검증만 사용하고 오류 정보를 활용하지 않는 반면, WoT(b)는 다중 관점 검증과 오류 정보 활용을 제공한다.* 대규모 언어 모델(LLM)의 추론 성능을 향상시키기 위해 다중 관점에서 검증하고 이전 오류 정보를 활용하는 WoT(Wrong-of-Thought) 프레임워크를 제안한다. 기존 XoT의 단일 검증 방식과 오류 정보 무시 문제를 해결하여 8개 데이터셋과 5개 LLM에서 우수한 성능을 달성했다.

WoT는 단순하지만 효과적인 개선책을 통해 LLM의 추론 성능을 일관되게 향상시키며, 광범위한 실험으로 그 유효성을 입증했다. 다만 검증 오버헤드와 오류 정보 활용의 심화 방안에 대한 추가 연구가 필요하다.

AI 기반 학술논문 요약 도구(lay summary)가 급속도로 개발되고 있으나, 정확성과 신뢰성 측면에서 해결해야 할 과제들이 남아있다.

AI lay-summary 도구는 학술 정보 접근성 개선의 큰 잠재력을 보여주지만, 정확성 오류와 미검증 정보 확산의 위험을 사전에 차단하는 메커니즘이 개발되어야만 과학 출판의 표준 기능으로 정착될 수 있다.

 *BLADE 벤치마크는 데이터 기반 과학 분석을 위한 언어 모델 에이전트의 다면적 의사결정 과정을 자동으로 평가한다.* 이 논문은 데이터 기반 과학 발견(data-driven scientific discovery)을 위해 언어 모델(LM) 에이전트의 분석 능력을 평가하는 첫 번째 벤치마크 BLADE를 제시한다. 12개의 실제 데이터셋과 연구 질문에 대해 전문가 데이터 과학자들의 다중 분석을 수집하고, 에이전트의 생성 분석을 자동으로 평가할 수 있는 프레임워크를 개발했다.

이 논문은 언어 모델 에이전트의 데이터 기반 과학 분석 능력을 평가하는 첫 번째 체계적이고 자동화된 벤치마크를 제시함으로써, AI 기반 과학 발견 도구 개발에 중요한 기초를 마련했다. 다층 의사결정 구조와 자동 평가 프레임워크의 설계가 뛰어나며, 현 언어 모델의 한계를 명확히 규명했다는 점에서 학술적, 실용적 의의가 크다. 다만 벤치마크 규모 확대 및 평가 신뢰성 강화가 필요하다.

 *Data Interpreter의 계층적 그래프 모델링 워크플로우: 프로젝트 요구사항을 태스크 그래프로 분해한 후, 실행 가능한 액션 그래프로 다시 분해하는 과정* 본 논문은 대규모 언어모델(LLM) 기반 에이전트가 데이터 사이언스의 장기적이고 상호연결된 작업들을 자동으로 해결할 수 있도록 설계된 **Data Interpreter**를 제안한다. 계층적 그래프 모델링과 프로그래밍 가능한 노드 생성이라는 두 가지 핵심 메커니즘을 통해 복잡한 데이터 사이언스 워크플로우를 동적으로 관리하고 실시간 데이터 변화에 적응한다.

Data Interpreter는 데이터 사이언스 자동화 문제를 효과적으로 재정의하고, 계층적 그래프 모델링과 동적 노드 생성이라는 실용적인 솔루션으로 여러 벤치마크에서 상당한 성능 개선을 달성했다. 특히 엔드-투-엔드 워크플로우 관리와 실시간 적응성 측면에서 기존 LLM 에이전트 연구를 한 단계 진전시켰으나, 이론적 분석 강화와 프로덕션 환경 검증이 추가되면 더욱 임팩트 있는 기여가 될 수 있다.

BigCode 프로젝트에서 개발한 StarCoder2와 The Stack v2는 619개 프로그래밍 언어를 지원하는 대규모 오픈소스 코드 데이터셋과 이를 기반으로 훈련된 3B, 7B, 15B 규모의 코드 생성 모델로, 동일 규모의 기존 모델들을 능가하고 2배 이상 큰 모델과 비교 가능한 성능을 달성했다.

본 논문은 코드 LLM 분야에서 완전한 투명성을 구현한 획기적인 작업으로, 대규모 오픈소스 데이터셋과 이를 활용한 효율적인 모델 훈련을 통해 기존 폐쇄형 모델과 경쟁 가능한 성능을 달성했으며, 특히 다언어 지원과 거버넌스 측면에서 과학 커뮤니티에 실질적 기여를 제공한다. 다만 중간 규모(7B) 모델의 성능 이상과 copyleft 코드 제외의 정당성 심화 분석이 개선 필요 영역이다.

본 논문은 Google의 Gemini Deep Think 및 그 고도화 모형들을 활용하여 이론 컴퓨터 과학, 경제학, 최적화, 물리학 등 다양한 분야에서 미해결 문제를 해결하고 새로운 정리를 생성한 실제 사례들을 제시한다. 저자들은 인간-AI 협력의 일반화된 기법들을 추출하여 과학 연구 가속화를 위한 체계적 방법론을 제안한다.

본 논문은 최신 LLM이 단순 자동화 도구를 넘어 진정한 과학 연구 파트너로 기능할 수 있음을 광범위한 실제 사례와 메타 방법론으로 입증하는 중요한 기여이다. 특히 신경기호 루프와 적대적 검토 프레임워크 같은 새로운 활용 방식은 주목할 만하다. 다만 형식 검증, 실패 분석, 그리고 일반화 가능성 제시가 보강된다면 더욱 강력한 가이드라인이

 *그림 1: 최근 년도별 대규모 언어모델의 발전 timeline. 오픈소스 LLM은 노란색으로 표시* ChatGPT로 촉발된 대규모 언어모델(LLM)의 혁신을 재료과학 분야에 체계적으로 적용하기 위한 지식-안내식 도메인 특화 모델 개발 및 활용 방법론을 제시한 종합 리뷰 논문이다. 본 논문은 LLM 구축부터 재료 발견에의 실제 응용까지 전주기적 가이드라인을 제공한다.

본 논문은 ChatGPT 시대의 재료과학 연구 혁신을 위해 LLM을 실제로 구축하고 활용하는 방법을 체계적으로 정리한 중요한 종합 리뷰이며, 도메인-특화 LLM 개발의 실용적 로드맵을 제공한다는 점에서 학술적·실무적 가치가 높으나, 재료과학 특정 데이터셋과 할루시네이션 방지 기술의 고도화 같은 후속 연구가 절실하다.

원자 구조 정보를 완전히 보존하면서 대규모 언어 모델(LLM)과 통합하는 구조-인식 멀티모달 LLM으로, 물질의 성질 예측과 과학적 추론에서 GPT-4를 능가하는 성능을 달성했다.

원자간 포텐셜과 LLM의 창의적 결합으로 물질 과학에서 구조-인식 멀티모달 AI의 새로운 패러다임을 제시한 의미 있는 연구이나, 대규모 물질 데이터셋 확보와 물리적 해석성 향상을 통해 산업 적용 가능성을 높일 필요가 있다.

 *HiPerRAG 워크플로우: 멀티모달 문서 파싱(Oreo), 질의-인식형 인코더 미세조정(ColTrast), 그리고 대규모 벡터 검색을 통합한 과학 문헌 RAG 시스템* 본 논문은 360만 개 이상의 과학 논문을 처리하기 위해 고성능 컴퓨팅(HPC)을 활용한 검색-증강 생성(RAG) 시스템 HiPerRAG를 제시하며, 과학 문헌의 복잡한 구조를 처리하는 새로운 문서 파싱 기법(Oreo)과 과학 텍스트 특화 인코더(ColTrast)를 개발했다.

본 논문은 대규모 과학 문헌 처리를 위한 RAG 시스템의 실용적이고 확장 가능한 솔루션을 제시한다. Oreo 파서와 ColTrast 인코더는 개별적으로 의미 있는 기여를 하며, HPC와의 통합은 산업 적용 가능성을 높인다. 다만 새로운 벤치마크 대부분이 단일 도메인(단백질 예측)에 한정되고, 검색-생성 통합 최적화, LLM 환각 저감의 근본적 해결책 제시는 미흡하다. 과학 커뮤니티의 정보 과부하 문제 해결에 기여할 실용적 시스템이지만, 학술적 혁신성 측면에서는 기존 기법의 공학적 우수 조합에 가깝다.

AI의 급속한 발전으로 재료 과학의 데이터 무결성이 심각한 위협에 직면해 있으며, 전문가조차 AI 생성 현미경 이미지를 실제 데이터와 구별하지 못하고 있다. 이 논문은 책임감 있는 과학 실천을 위한 다층적 연구 무결성 프레임워크를 제안한다.

본 논문은 AI 기반 재료 과학 연구에서 긴급하게 대두되는 데이터 무결성 위기를 최초로 종합적으로 조명하고, 전문가 실증 조사와 구체적 사례를 통해 위협의 현실성을 입증하는 중요한 관점 논문(Perspective)이다. 다만 제안된 기술적 해결책의 구체적 구현 방안과 규제, 표준화 경로가 추가로 상세화될 필요가 있다.

과학자들이 직접 큐레이션한 과학 연구 문제 중심의 코딩 벤치마크를 제시하여, 언어 모델(LM)의 실제 과학 보조 능력을 평가할 수 있는 고품질 평가 도구를 개발하였다.

본 논문은 과학 분야 코딩 능력 평가에 대한 중요한 공백을 채우면서, 과학자들의 직접 참여로 벤치마크의 현실성과 신뢰성을 확보한 우수한 자원 논문이다. 현존 최고 성능 모델들도 4.6%의 저조한 성능을 보여주며 향후 과학 AI 개발의 명확한 목표와 평가 기준을 제시한다.

BigCode 커뮤니티가 개발한 StarCoder는 155억 파라미터 규모의 오픈 소스 코드 생성 대형언어모델(Code LLM)로, 책임감 있는 AI 개발을 위해 저작권, 개인정보, 투명성을 고려하여 설계되었으며, 기존 모든 오픈 코드 LLM을 능가하는 성능을 달성했다.

StarCoder는 고성능 오픈 코드 LLM의 필요성을 충족시키고 책임감 있는 AI 개발의 실질적 모델을 제시했으나, 법적·윤리적 쟁점의 완전한 해결보다는 투명성과 감시 도구를 제공하는 수준으로, 산업 및 연구 커뮤니티의 기여를 크게 높였으나 잠재적 법적 위험은 여전히 존재한다.

 *의료 분야의 멀티모달 AI 파이프라인: (A) 다양한 의료 데이터 양식 수집 및 처리, (B) AI 모델에 의한 통합 표현 변환, (C) 리포트 생성, 대화 지원, 치료 계획 등의 인사이트 생성, (D) 피드백을 통한 반복적 최적화* 본 논문은 의료 분야에서 생성형 AI의 진화를 체계적으로 검토한 스코핑 리뷰로, 텍스트 기반 대규모 언어모델(LLM)에서 의료 영상, 임상 데이터를 통합하는 멀티모달 AI 시스템으로의 전환을 추적하며, PRISMA-ScR 가이드라인을 따라 2020-2024년 발표된 144개 논문을 분석했다.

본 논문은 의료 분야의 생성형 AI 진화를 최신 발표까지 포함하여 체계적으로 정리한 필수 참고 리뷰이며, 특히 멀티모달 통합과 평가 방법론의 gap을 명확히 규명함으로써 향후 연구자와 개발자에게 실질적 방향을 제시한다.

본 논문은 과학 논문에서 추출한 대규모 научных 주장 검증 데이터셋 SciClaimHunt와 SciClaimHunt Num을 소개한다. 정치적 주장과 달리 과학적 주장의 검증은 도메인 전문성과 복잡한 기술 용어를 요구하는 고도의 과제이며, 이를 해결하기 위해 87,109개의 주장과 이를 지원하거나 반박하는 과학 논문 증거로 구성된 대규모 데이터셋을 제시한다.

본 논문은 과학 주장 검증을 위한 기존의 규모 제한적이고 초록 중심적인 데이터셋의 한계를 실질적으로 해결하며, 결과/토론/결론 섹션을 포함한 전체 논문 컨텍스트와 수치 인식 검증이라는 새로운 평가 차원을 도입함으로써 과학 팩트체킹 연구에 상당한 기여를 할 것으로 기대된다.

 *Figure 1: Taxonomy of Methods for Scientific Hypothesis Generation (SHG).* 본 논문은 과학적 가설 생성(Scientific Hypothesis Generation)에서 대규모 언어모델(LLM)의 활용을 종합적으로 조사하는 설문 논문으로, 기존 방법론부터 최신 LLM 기반 접근법까지의 분류 체계와 평가 전략을 제시한다.

본 설문 논문은 LLM 기반 가설 생성 분야의 첫 종합 리뷰로서, 방법론의 진화 경로와 현재 상황을 명확히 정리하고 향후 연구 방향을 제시한다는 점에서 높은 학술적 가치를 가진다. 다만 실제 과학적 검증 사례와 정량적 평가 기준이 보강된다면 더욱 강력한 기여가 될 수 있을 것으로 판단된다.

1990-2023년 OpenAlex와 Dimensions 데이터베이스를 활용하여 과학 논문 8,757만 개와 인용 14억 8천만 개를 분석해 학술 커뮤니케이션의 언어 다양성과 영어 지배 현황을 대규모로 실증 분석한 연구

본 연구는 학술 커뮤니케이션의 언어 불평등을 전역 규모에서 처음 체계적으로 분석했으며, 영어 지배의 완화 추세와 지역 학술 시스템의 성장을 실증적으로 입증함. 과학 정책과 포용성 강화를 위한 중요한 증거를 제공한다.

 *Figure 1: Taxonomy of Methods for Scientific Hypothesis Generation (SHG).* 본 논문은 과학적 가설 생성(hypothesis generation)을 위한 대규모 언어 모델(LLM) 활용에 대한 종합적 설문 논문으로, 기존 방법론부터 LLM 기반 접근법까지의 분류 체계(taxonomy)를 제시한다.

본 논문은 과학적 가설 생성의 진화 과정을 포괄적으로 정리하고 LLM 시대의 새로운 기회와 도전을 체계적으로 분석한 중요한 설문 논문이다. 다만 실제 사례 검증과 정량화된 평가 메트릭 개발이 향후 보완되어야 할 주요 과제로 남아있다.

 *Fig. 4: Overall Rating aggregated over three LLMs and four Prompt Levels.* 본 논문은 LLM(GPT-3.5, PaLM2, LLaMA2)이 학술 논문의 피어 리뷰 의견들을 종합하여 메타리뷰 초안 작성을 지원할 수 있는지 연구한 사례 연구이다.

본 논문은 표준화된 프롬프팅 분류체계를 적용하여 메타리뷰 작성 지원 작업에 대한 LLM의 성능을 최초로 체계적으로 비교 분석했으며, 대규모 정성적 평가를 통해 LLM 자동 평가의 신뢰성 문제를 밝혀냈다는 점에서 학술 출판 프로세스 자동화 연구에 유의미한 기여를 한다.

지난 30년간 학술출판은 폐쇄형에서 개방형(OA, Open Access)으로 전환되었으나, 이러한 변화는 학문 분야별로 매우 불균등하게 나타나고 있다. 본 연구는 학문 분야별 OA 출판 관행의 차이와 변화의 장애 요인을 체계적으로 분석한다.

본 논문은 OA 출판의 학문 분야별 차이를 단순한 채택률 차이가 아닌 역사적·사회문화적 요인으로 체계적으로 분석한 점에서 학술출판 정책 입안에 중요한 기여를 한다. 다만 메타합성의 이질성과 심화된 메커니즘 분석이 부족한 점은 추후 연구의 과제이다.

본 논문은 OpenReview에서 수집한 24개 학술회의와 21개 워크숍의 19,926개 논문, 70,668개 리뷰 의견, 53,818개 재반박(rebuttal)으로 구성된 Re2 데이터셋을 제시하며, 일관성이 보장된 피어리뷰 데이터를 통해 대언어모델(LLM)의 리뷰 및 재반박 능력을 향상시키고자 한다.

Re2는 기존 피어리뷰 데이터셋의 다양성, 일관성, 기능성 문제를 체계적으로 해결한 의미 있는 자원 기여이며, 특히 초기 제출 버전 보증과 다중 턴 재반박 구조화는 향후 LLM 기반 리뷰 시스템 개발에 실질적 가치를 제공할 것으로 기대된다.

 *논문의 구조적 논리: 현황 검토에서 프레임워크, 그리고 광범위한 논의로 진행되는 계층적 구조* 본 논문은 대규모 언어모델(LLM)을 활용하여 도시 인과 추론(Urban Causal Inference) 연구의 자동화와 확장성을 달성하는 UrbanCIA 프레임워크를 제시한다. 이를 통해 가설 생성부터 정책 해석까지 전체 도시과학 연구 파이프라인을 지능형 멀티에이전트 시스템으로 재구성하고자 한다.

본 논문은 도시 인과 연구의 현황을 첫 대규모로 진단하고, LLM 기반 멀티에이전트 시스템으로 전체 인과 추론 파이프라인 자동화라는 야심찬 비전을 제시한다는 점에서 매우 의미 있다. 특히 지역 불균형, 구조화 데이터 과의존, 낮은 재현성 등 도시과학의 실제 문제를 정량화하고 기술적 솔루션을 제안한 점이 강점이다. 다만 개념적 프레임워크에 치중되어 있으며, 실제 구현, 실증적 검증, LLM의 환각과 편향 제어 방안이 구체적으로 제시되지 않아 기술적 건전성에서 개선 여지가 있다. 향후 프로토타입 구현과 다양한 도시 사례 검증이 논문의 주장을 강화할 것으로 기대된다.

 *과학적 가설 생성 및 검증 파이프라인: LLM, 통계 모델, 온톨로지를 통합하는 데이터 입력에서 반복적 검증 및 실제 배포까지의 단계를 보여줌* 본 논문은 대규모 언어모델(LLM)을 활용한 과학적 가설 생성 및 검증의 체계적 종합 분석을 제시하며, 부호화 프레임워크부터 현대적 LLM 파이프라인까지 진화 과정을 추적하고 생물의학, 재료과학, 환경과학 등 다양한 도메인에서의 적용을 통합적으로 조망한다.

본 논문은 LLM 기반 과학적 가설 생성·검증의 현재 상태를 포괄적으로 정리한 중요한 설문이지만, 참신성 측정, 검증 비용-효과 분석, 윤리 구현의 구체화 측면에서 학문적 깊이를 보강할 필요가 있다. 실무 관점에서는 도메인별 성숙도 격차 완화와 인간-루프 시스템의 인지적 설계 원칙이 향후 연구의 중요한 과제이다.

 *LLM의 기본 작동 원리: (A) 토큰의 자동회귀적 생성, (B) 프롬프트 구조, (C) LLM 에이전트 시스템* 대규모 언어모델(LLM)이 과학 연구의 각 단계에서 생산성 향상과 과학적 발견을 지원하는 도구로서 변화하는 과학 방법론을 재정의하고 있으며, 이를 효과적으로 활용하기 위해서는 인간 과학자와의 협력 및 명확한 평가 지표가 필수적이다.

본 논문은 LLM이 과학 연구의 생산성 도구에서 창의적 엔진으로 진화할 수 있는 가능성을 제시하는 중요한 관점을 제공하지만, 현실적 한계(할루시네이션, 기초 과학 기여도 제한)에 대한 구체적 해결책 제시와 실증적 검증이 보강되어야 할 것으로 보인다.

Elicit는 체계적 문헌고찰(systematic review) 과정에서 보조 도구로 사용될 수 있으나, 아직까지는 전통적 방법을 완전히 대체하지 못하며 신중한 사용과 방법론적 엄격성 유지가 필수적이다.

체계적 문헌고찰에서 AI 도구 Elicit의 실제 성능을 실증적으로 평가한 의미 있는 연구이지만, 방법론적 견고성과 일반화 가능성이 제한적이며, "신중한 보조 도구로 사용하되 완전 대체 불가"라는 예상된 결론을 확인한 수준이다. AI 도구 개발의 빠른 진전을 고려할 때 정기적인 재평가와 더욱 체계적인 벤치마킹 연구가 필요하다.

 *Scideator의 인터페이스: 사용자와 시스템이 논문의 핵심 요소(목적, 메커니즘, 평가)를 중심으로 상호작용하며 아이디어를 재조합하는 과정* 과학 논문 작성에서 기존 연구의 핵심 측면들을 새로운 방식으로 결합하여 창의적 아이디어를 생성하는 것을 지원하는 사람-LLM 협력 시스템이다. 사용자가 선택한 논문들로부터 추출된 구조화된 요소(목적·메커니즘·평가)를 대화형으로 재조합하여 새로운 연구 아이디어를 탐색하도록 설계되었다.

단일세포 수준에서 여러 데이터 유형(RNA, 단백질 등)을 동시에 측정한 멀티모달 데이터를 통합 분석하기 위해 가중 최근접 이웃(Weighted-Nearest Neighbor, WNN) 방법론을 개발했다. 이를 통해 세포 상태를 더욱 정확하게 정의하고 이전에 미발견된 면역세포 아형들을 발견할 수 있음을 보여준다.

WNN 방법론은 멀티모달 단일세포 데이터 분석의 실질적 문제를 우아하게 해결하는 기여이며, 대규모 PBMC 아틀라스 구축과 COVID-19 응용을 통해 임상적 가치까지 입증한 의미있는 연구이다. 다만 파라미터 최적화와 3개 이상 모달리티 확장에 대한 보완이 필요하다.

 *scBaseCamp은 종(species)과 조직(tissue)에 걸쳐 2억 3천만 개 이상의 세포를 포함하는 가장 큰 공개 단일 세포 유전자 발현 데이터셋 저장소이다.* AI 에이전트 기반의 자동화된 워크플로우를 통해 공개 10X Genomics 단일세포 RNA 시퀀싱 데이터를 발굴하고 표준화된 방식으로 처리하여, 가장 규모가 크고 다양한 단일세포 데이터 저장소 scBaseCamp를 구축했다. 이는 AI 기반 가상세포 모델 개발을 위한 훈련 데이터로 활용될 수 있으며, 데이터 처리 파이프라인의 표준화를 통해 분석 아티팩트를 최소화한다.

scBaseCamp는 AI 에이전트 기반 자동화 및 표준화된 대규모 재처리를 통해 단일세포 생물학과 AI 모델 개발을 위한 획기적인 자원을 제공하며, 지속적 확장 메커니즘은 이 분야의 향후 발전을 크게 가속화할 것으로 예상된다. 다만 기술적 세부사항과 정량적 검증 데이터의 보강이 필요하다.

대규모 언어모델(LLM)을 기반으로 한 다중 에이전트 프레임워크인 CellAgent를 제안하여, 단일세포 RNA 염기서열 분석(scRNA-seq) 작업을 자동으로 수행하고 인간의 개입 없이 고품질의 분석 결과를 제공한다. 복잡한 생물정보학 분석 워크플로우의 자동화를 통해 생물학 연구자의 기술적 진입장벽을 크게 낮춘다.

CellAgent는 대규모 언어모델을 생물정보학 자동화에 적용한 혁신적 시도로, 계층적 의사결정과 자기반복 최적화 메커니즘을 통해 실제 과학 데이터 분석의 자동화를 가능하게 한다. 다중 에이전트 협업 프레임워크의 설계가 우수하며 종합적인 평가가 이루어졌으나, 도구 확장성과 미세한 오류 처리에서는 개선의 여지가 있다.

 *BAISBench의 개요: (A) 두 가지 보완적 태스크 구성, (B) BAIS-DPTA의 구축 방식, (C) BAIS-SD의 구축 방식* 단일세포 전사체(single-cell transcriptomics) 데이터를 활용하여 AI 과학자(AI scientist) 시스템의 생물학적 발견 능력을 평가하는 BAISBench 벤치마크를 제시한다. 현재 AI 과학자들은 완전한 자동화된 생물학적 발견에는 못 미치지만, 데이터 기반 생물학 연구 지원에 상당한 잠재력을 보이고 있음을 실증적으로 보여준다.

이 논문은 단순한 지식 기반 평가를 넘어 실제 생물학 데이터 분석 능력을 평가하는 현실적이고 실용적인 벤치마크를 제시함으로써, 빠르게 발전하는 AI 과학자 분야에 타당성 있는 평가 기준을 마련했다. 계층적 평가 체계와 공개 자원은 학계에 즉각적인 기여를 할 수 있으나, 평가 범위의 다양화와 개방형 발견 능력 평가 추가를 통해 더욱 포괄적인 벤치마크로 발전할 여지가 있다.

 *Figure 1: Overview of the proposed framework for biomedical knowledge mining. (A) Biomedical knowledge sources, such* 생의학 연구를 위해 Deep Thinking LLM과 Retrieval-Augmented Generation(RAG)을 통합한 지식 채굴 방법론을 제안하며, BioStrataKG 지식 그래프와 BioCDQA 데이터셋을 구축하고 IP-RAR 프레임워크로 문서 간 추론 능력을 향상시킨다.

생의학 지식 채굴을 위한 포괄적이고 체계적인 프레임워크를 제시한 우수한 연구이며, LLM의 깊은 추론 능력과 RAG 기법의 효과적인 통합으로 문서 간 추론 능력을 획기적으로 향상시켰다. 실제 임상 의사결정과 연구 전략 수립을 지원할 수 있는 높은 실용성을 갖추고 있다.

 *Agentomics-ML의 아키텍처: 에이전트가 ML 개발 파이프라인의 사전정의된 단계를 따르면서 순차적으로 단계를 완료하여 최종적으로 작동하는 ML 모델을 출력한다.* LLM 기반 자율 에이전트를 게노믹 및 트랜스크립토믹 데이터 분류 작업에 특화시킨 시스템으로, 기존 대규모 언어 모델 에이전트 방법론을 초과하는 재현성과 일반화 성능을 달성한다.

Agentomics-ML은 게노믹 및 트랜스크립토믹 데이터의 ML 분석을 자동화하기 위해 도메인 특화 설계와 엄격한 평가 프레임워크를 결합한 의미 있는 기여를 제시하며, 기존 에이전트 기반 방법론을 현저히 초과하는 성능을 달성했으나, 도메인 전문가 모델과의 격차와 작업 범위의 제한성이 실무 활용성을 다소 제약한다.

 *Deep Active Learning 프레임워크의 전체 흐름: SPOKE 지식 그래프에서 생성된 유전자 임베딩을 초기화하고, 신경망을 통해 상호작용을 예측하며, 획득함수 기반 능동학습 루프로 다음 탐사 대상 유전자 쌍을 선정* 본 논문은 HIV 감염에서 숙주 유전자 쌍의 시너지 상호작용을 효율적으로 발견하기 위해 생물학적 지식 그래프(SPOKE)와 딥러닝 기반 능동학습(Deep Active Learning, DeepAL)을 통합한 프레임워크를 제시한다. 356개 유전자의 상호작용 공간(356×356 행렬)에서 실험 비용을 최소화하면서 효과적인 이중 녹다운(double knockdown) 쌍을 발견한다.

본 논문은 생물학적 지식 그래프와 딥러닝 능동학습을 효과적으로 통합하여 대규모 유전자 상호작용 공간을 효율적으로 탐색하는 실용적이고 혁신적인 프레임워크를 제시한다. 특히 356×356 규모의 이중 녹다운 데이터 처리는 이 분야에서 획기적이며, 경로 분석을 통한 생물학적 해석가능성도 강점이다. 다만 실제 실험실 검증, 계산 효율성 분석, 그리고 다양한 질병 시스템에의 일반화 가능성에 대한 추가 연구가 필요하다.

노화 연구의 복잡성(확률적 특성, 세포 이질성, 560,000개 이상의 논문)을 극복하기 위해 인공지능이 인간 과학자의 디지털 동료로서 문헌 기반 추론과 자동화된 실리코 검증(single-cell RNA-seq)을 통합하여 가설을 생성하고 검증하는 프레임워크를 제시한다.

PersonaAI는 LLM 기반 생물학적 발견 가속화의 실질적 사례를 제시하며, 특히 인간 직관과 자동화 검증의 균형 있는 결합으로 신뢰도 높은 가설을 생성한다. 시간 절단 검증은 AI 시스템의 예측력을 입증하는 유효한 전략이나, 현재 preprint 단계로서 생체 내 실험 검증과 방법론의 상세 공개가 필요하다.

 *과학적 발견의 다단계 프로세스에서 AI의 역할: 가설 형성, 실험 설계, 데이터 수집 및 분석 단계 전반에 걸친 AI 통합* 본 리뷰 논문은 자기지도학습(self-supervised learning), 기하 심층학습(geometric deep learning), 생성형 AI 등 최근 10년간의 주요 AI 기술을 통해 과학적 발견이 어떻게 변모하고 있는지 종합적으로 조망한다. AI는 대규모 데이터셋 통합, 가설 탐색, 실험 설계 자동화 등을 통해 전통적 과학방법론만으로는 불가능한 새로운 과학적 통찰을 제공할 수 있다.

본 논문은 AI와 과학의 융합이라는 시대적 화두를 Nature라는 최고 권위의 플랫폼에서 다학제적 전문가 30여 명이 체계적으로 조망한 획기적 리뷰이다. 기술적 혁신과 함께 현실적 한계와 미해결 과제를 균형있게 제시함으로써 AI4Science 생태계의 건전한 발전을 위한 나침반 역할을 한다.

 *그래프 공간에서의 메타머터리얼-응답 설계 공간. (A) 메타머터리얼의 그래프 표현: 연결재(strut)는 간선(edge), 교점은 노드(node)로 인코딩* 본 논문은 그래프 신경망(Graph Neural Networks, GNN), 강화학습(Reinforcement Learning, RL), 그리고 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 결합한 GraphMetaMat 프레임워크를 제시하여, 사용자 정의 비선형 기능 반응(응력-변형률 곡선, 파동 전송 응답)을 가진 3D 메타머터리얼을 역설계할 수 있는 방법론을 개발했다.

본 논문은 그래프 신경망과 강화학습을 결합하여 복잡한 비선형 기능 반응을 가진 메타머터리얼의 역설계를 효과적으로 해결한 혁신적인 연구로, 설계 공간의 제약을 제거하고 실제 응용(보호장비, 전기차 진동 제어)까지 검증한 점에서 높은 가치를 지니고 있다. 다만 로딩 조건, 재료 다양성, 시뮬레이션-실제 간극 등의 실용적 한계가 후속 개선의 과제이다.

 *그림 1: 기초 모델이 능동 학습의 서로게이트 모델링 딜레마를 해결함. (a) 기존 모델들은 예측 능력과 불확실성 추정 간의 트레이드오프 직면 (b) 기초 모델은 메타 학습된 사전 정보를 통해 표현력 높은 예측과 보정된 불확실성 결합* 소재 발견을 위한 능동 학습(Active Learning, AL)에서 기존 가우스 프로세스(GP)와 랜덤 포레스트(RF) 서로게이트 모델의 한계를 극복하기 위해, 트랜스포머 기반의 기초 모델(Foundation Model, FM)인 TabPFN을 서로게이트로 도입하는 문맥 내 능동 학습(In-Context Active Learning, ICAL) 프레임워크를 제안한다. TabPFN은 메타 학습을 통해 소량의 실험 데이터에서도 표현력 높은 예측과 보정된 불확실성을 동시에 제공한다.

본 논문은 기초 모델의 메타학습 능력을 소재 발견 능동 학습의 핵심 문제(표현력 vs. 불확실성 트레이드오프)에 창의적으로 적용하였으며, 광범위한 벤치마크로 우월성을 입증했다. 다만 실제 실험 환경 검증과 고차원 특성 공간 확장이 완성되면 임팩트가 더욱 강화될 것으로 예상된다.

 *제안된 파이프라인 개요: In-Context 데이터 준비, AI 강화 텐서 분석, AI 기반 패턴 해석의 세 가지 주요 단계* 본 논문은 행동신경과학 연구에서 데이터 준비부터 패턴 해석까지 시간 소비적이고 전문가 의존적인 단계들을 AI로 자동화하는 통합 파이프라인을 제시한다. In-Context Learning(ICL)과 향상된 텐서 분해를 활용하여 도메인 전문가가 프로그래밍 지식 없이도 공포 과일반화(fear generalization) 연구에서 신경 패턴을 발굴할 수 있는 사용자 친화적 인터페이스를 구현했다.

본 논문은 In-Context Learning이라는 접근성 높은 AI 패러다임을 도메인 전문가 중심의 신경과학 분석 파이프라인에 성공적으로 도입한 의미 있는 사례 연구이다. 기술적 엄밀성 향상과 다양한 도메인으로의 일반화 검증이 필요하지만, 실제 협업 경험에 기반한 실용적 기여가 돋보인다.

 *그림 1: 동료 심사(Peer Review)를 하나의 과정으로 보는 관점과 그로 인해 생성되는 산출물들. 각 단계별로 색상 코딩됨.* 본 논문은 과학 출판의 핵심 질관리 메커니즘인 동료 심사 과정에서 자연언어처리(NLP)가 구체적으로 어떤 역할을 할 수 있는지를 체계적으로 매핑하고, 실현 가능한 NLP 지원 방안을 제시하는 포괄적인 기초 연구이다. 저자들은 원고 제출부터 최종 출판까지 전체 심사 과정의 각 단계에서의 도전과제와 NLP 적용 기회를 상세히 분석하며, 완전 자동화보다는 리뷰어와 편집자의 효율성을 높이는 지원 도구 개발에 초점을 맞춘다.

본 논문은 NLP가 동료 심사 개선에 기여할 수 있는 영역을 최초로 체계적으로 매핑한 중요한 기초 연구이다. 완전 자동화의 불가능성을 냉철히 인식하면서도 현실적이고 단계적인 개선안을 제시하는 성숙함을 보여주며, 구체적인 call-for-action과 데이터셋 저장소 구축으로 후속 연구의 기반을 마련했다는 점에서 높이 평가할 수 있다. 다만 현재 분석이 AI 학회에 편중되고, 각 단계별 기술적 실현 방안이 개략적 수준에 머물러 있으며, 데이터 부족 및 평가 메트릭 부재 등 구조적 장애물들이 상당히 남아 있다는 점은 향후 극복해야 할 과제이다.

학술지의 동료 평가(peer review) 메커니즘에서 영감을 받아, 여러 대규모 언어모델(LLM)을 평가자로 활용하여 다른 LLM들의 성능을 자동으로 평가하는 프레임워크를 제안한다. 자격 시험으로 신뢰할 수 있는 평가자를 선별한 후 이들의 평가 결과를 집계하여 편향 없는 LLM 평가를 실현한다.

본 논문은 학술적 동료 평가 원리를 LLM 자동 평가에 창의적으로 도입하여 비용, 편향, 일반화 문제를 동시에 해결하는 실질적인 해결책을 제시한 의미 있는 연구이다. 다만 평가 과제의 다양화와 메커니즘의 이론적 심화를 통해 주장의 보편성을 더욱 강화할 여지가 있다.

 *Experiential Co-Learning 프레임워크: Co-Tracking, Co-Memorizing, Co-Reasoning 세 모듈을 통해 Instructor와 Assistant 에이전트가 과거 경험을 학습하고 활용하여 소프트웨어 개발 작업을 효율적으로 수행* 본 논문은 대규모 언어모델(LLM) 기반 다중 에이전트 시스템이 과거 작업 경험을 축적하고 활용하는 "경험적 협력학습(Experiential Co-Learning)" 프레임워크를 제안한다. 이를 통해 소프트웨어 개발 작업에서 반복적인 오류를 감소시키고 에이전트 간의 협력 효율성을 현저히 향상시킨다.

본 논문은 LLM 기반 다중 에이전트의 협력학습에 경험 축적과 활용이라는 중요한 개념을 처음 도입한 의미 있는 연구이며, 작업 실행 그래프 기반 지름길 추출이라는 창의적인 방법론을 제시한다. 실제 소프트웨어 개발 자동화에서의 효율성 증대를 입증했으나, 도메인 특화성과 경험 표현의 단순성이 향후 개선 과제로 남아있다.

 *LLM과 인용 간의 상호 이익적 관계* 대규모 언어 모델(LLM)과 학술 인용 분석 간의 상호 보완 관계를 체계적으로 정리한 최초의 종합 조사 연구이다. LLM이 인용 분석 작업의 성능을 향상시키고, 역으로 인용 데이터가 LLM의 텍스트 표현을 개선하는 양방향 이익 구조를 제시한다.

본 논문은 LLM과 인용 분석 간의 상호 이익 관계를 최초로 체계적으로 정리한 중요한 조사 연구이며, 향후 학술 정보 처리 및 LLM 개선 분야에 명확한 연구 방향을 제시한다. 다만 실증적 성과와 정량적 비교가 강화되면 더욱 강력한 기여가 될 수 있을 것으로 예상된다.

 *그림 1: 프롬프트와 논문 간 코사인 유사도 분포. 4개의 관련성 범주별로 명확한 구분이 나타남* 본 논문은 대규모 언어 모델(LLM)을 활용하여 학술 논문의 관련성을 자동으로 평가하는 분류 시스템 RelevAI-Reviewer를 제안하고, 25,164개의 인스턴스로 구성된 벤치마크 데이터셋을 공개한다. BERT 기반 종단(end-to-end) 분류기가 기존의 지도학습 방법들을 능가하는 성능을 달성했음을 보였다.

본 논문은 학술 논문 관련성 평가의 자동화를 위한 실용적인 벤치마크를 최초로 제공하며 공개 플랫폼을 통해 커뮤니티 참여를 유도하는 점이 가치있으나, 인공 데이터 생성의 신뢰성 문제와 단일 평가 기준만 다룬 점에서 개선의 여지가 있다.

대규모 언어 모델(LLM)의 평가 방법론을 체계화하기 위해 "핵심 역량(Core Competency)" 프레임워크를 제안하는 종합 조사 논문이다. 540개 이상의 평가 과제를 분석하여 LLM의 4가지 핵심 역량(지식, 추론, 신뢰성, 안전성)으로 통합함으로써 산재된 평가 벤치마크를 체계적으로 정리한다.

본 논문은 빠르게 증식하는 LLM 평가 과제를 핵심 역량 중심으로 체계화한 중요한 조사 연구이며, 커뮤니티를 위한 실용적 도구를 제공한다. 다만 부분적 공개와 평가 지표의 정량화 부족으로 완성도에서 아쉬움이 있으며, 추후 완전 버전 공개와 함께 Reliability/Safety 역량에 대한 보다 깊이 있는 논의가 필요하다.

본 논문은 대규모 언어모델(LLM) 기반의 지능형 에이전트의 현황을 종합적으로 검토한 대규모 리뷰 논문이다. 뇌 기능에서 영감을 받은 모듈식 아키텍처를 기반으로 에이전트의 설계, 진화, 협력, 안전성 등 다층적 측면을 체계적으로 분석한다.

본 논문은 LLM 시대 지능형 에이전트에 대한 가장 종합적이고 체계적인 리뷰로, 뇌 기능의 계산적 모델링과 에이전트 아키텍처의 통합을 통해 학제적 기여를 제시한다. 다만 구체적인 구현 사례와 실증적 검증이 강화된다면 더욱 영향력 있는 기초 자료가 될 수 있을 것으로 판단된다.

 *El Agente Q의 개요: LLM 기반 다중 에이전트 시스템으로 자동화된 계획, 일정 조정, 실행 및 문제 해결을 수행* 본 연구는 LLM 기반 다중 에이전트 시스템(El Agente Q)을 통해 양자화학 워크플로우를 자연언어 프롬프트로부터 동적으로 생성·실행하는 자율 시스템을 제시한다. 계층적 메모리 프레임워크, 적응적 도구 선택, 자동 오류 복구를 특징으로 하며, 대학 수준의 과제에서 >87%의 성공률을 달성한다.

El Agente Q는 LLM 기반 다중 에이전트 시스템을 통해 양자화학 자동화의 접근성과 유연성을 크게 향상시킨 의미 있는 연구로, 계층적 메모리 아키텍처와 적응적 오류 복구 능력이 돋보인다. 다만 episodic memory 미활성화, hallucination 문제 해결, 실제 대규모 계산에서의 효율성 검증 등이 향후 개선 과제이다.

 *AlphaFold를 통한 단백질 구조 예측과 Celestia에서 행성 궤도 표시 등 실제 과학 소프트웨어와 상호작용하는 에이전트* 본 논문은 현실적인 과학 워크플로우에서 멀티모달 자율 에이전트를 평가하기 위한 **SCIENCEBOARD** 환경과 벤치마크를 제시한다. 생화학, 천문학, 지정보학 등 6개 과학 도메인에서 169개의 고품질 작업을 통해 최신 LLM/VLM 기반 에이전트들이 15% 이하의 성공률을 보이며, 현재 기술의 한계를 명시적으로 드러낸다.

SCIENCEBOARD는 컴퓨터-사용 에이전트를 현실적인 과학 워크플로우에서 평가하기 위한 획기적인 환경이자 벤치마크로, 현재 기술의 명확한 한계(15% 성공률)를 드러내면서 동시에 AI 기반 과학 자동화 연구의

 *SciToolAgent의 전체 개요: (a) 다양한 생물학, 화학, 재료과학 도구 포함, (b) 도구 간 관계를 인코딩한 SciToolKG, (c) 계획-실행-요약의 LLM 기반 워크플로우* 본 논문은 대규모 언어 모델(LLM)을 과학 도구 지식 그래프(SciToolKG)와 통합하여 생물학, 화학, 재료과학 등 다양한 분야의 수백 개 과학 도구를 자동으로 활용할 수 있는 지능형 과학 에이전트를 제시한다. 복잡한 다중 도구 과학 워크플로우 자동화에서 기존 방식 대비 10% 이상의 성능 향상을 달성했다.

SciToolAgent는 과학 도구 자동화의 중요한 진전을 보여주는 체계적이고 포괄적인 시스템으로, 지식 그래프 기반 접근과 안전성 고려가 돋보인다. 다만 지식 그래프의 확장성 문제와 더 정교한 오류 처리 메커니즘 개발이 향후 과제이다.

 *그림 1: AI 기반 과학 발견을 위한 3단계 워크플로우 개요. 가설 발견(Phase 1) → 실험 설계 및 실행(Phase 2) → 결과 분석 및 개선(Phase 3)* 대규모 언어 모델(LLM) 기반 자율 에이전트(Scientific Agents)가 과학 발견의 전체 생명주기를 자동화하고 가속화할 수 있는 새로운 패러다임을 제시한다. 이들 에이전트는 자연언어, 프로그래밍 코드, 물리 정보를 통합하여 인간 과학자, 계산 도구, 물리 장비와 유연하게 상호작용한다.

이 논문은 LLM 기반 과학 에이전트의 현황을 가장 포괄적으로 정리한 의미 있는 리뷰 논문으로, 과학 발견의 전체 사이클을 통합하는 프레임워크와 정보이론적 형식화를 제시한 점에서 학술적·실무적 기여가 크다. 다만 상위 아키텍처의 통합보다는 기존 방법들의 조직적 분류에 무게가 있으며, 제시된 한계점들(일반화 능력, 안전성, 실제 효율성)이 실제 응용 단계에서 얼마나 극복되었는지에 대한 심화 분석이 필요하다.

정밀 치료(precision therapeutics)를 위해 211개의 생의학 도구(biomedical tools)를 활용한 다단계 추론 AI 에이전트 TxAgent를 제시하며, FDA 승인 약물 정보와 Open Targets 임상 정보를 통합하여 약물 상호작용, 금기사항, 환자별 맞춤 치료 전략을 분석한다.

TxAgent는 대규모 생의학 도구 통합과 다단계 추론 능력으로 약물 치료 추천에서 기존 LLM을 크게 능가하는 의의 있는 성과이며, 정밀 의료 분야에서 즉각적 임상 응용이 가능하나 실제 환자 데이터 기반 임상 검증을 통한 보완이 필수적이다.

 *k-agents 프레임워크 개요: 자연언어로 된 절차를 실행 에이전트(execution agent)가 에이전트 기반 상태 머신으로 분해하여 실행* 본 연구는 대규모 멀티모달 실험실 지식과 복잡한 워크플로우를 자동화하기 위해 LLM 기반 에이전트 시스템인 k-agents를 개발했다. 초전도 양자 프로세서의 캘리브레이션과 얽힌 양자상태 생성을 통해 인간 수준의 자동화 성능을 입증했다.

본 논문은 LLM 기반 에이전트를 실제 양자 실험실 자동화에 성공적으로 적용한 의미 있는 연구로, 에이전트 기반 상태 머신과 선택적 활성화 에이전트 시스템은 기술적 기여도가 높다. 다만 평가 규모 확대 및 타 분야 일반화 검증이 필요하다.

 *다중 모달 다중 에이전트 접근법의 개념도: 시뮬레이션, 실험, 재료 데이터베이스, 이론 모델 등 다양한 소스의 다중 모달 데이터를 통합* 본 논문은 대규모 언어 모델(LLM)과 물리 기반 시뮬레이션을 결합한 다중 에이전트 AI 시스템(AtomAgents)을 제안하여, 합금 설계 및 발견 과정을 자동화하고 인간 개입을 최소화하면서도 물리적 정확성을 유지하는 혁신적인 접근법을 제시한다.

본 논문은 생성형 AI와 물리 기반 과학 계산의 의미 있는 통합을 시도한 중요한 선행 연구로, 재료 과학의 자동화와 대민족 접근성 향상에 실질적 기여를 한다. 다만 대규모 실계(real-world) 검증, 오류 처리 메커니즘 강화, 다양한 재료 시스템으로의 확장성 입증이 추가로 필요하다.

 *약물 R&D 과정의 다양한 단계에서 교차 약물 반응 평가(CRE)의 역할* DeepCRE는 도메인 분리 네트워크(Domain Separation Network, DSN) 기반의 AI 모델로, 세포주 데이터로 학습하여 환자 수준의 약물 반응을 예측함으로써 신약 개발 후기 단계에서의 약물 효과 비교 평가를 가능하게 한다. 이를 통해 기존 모델 대비 17.7% 성능 향상과 5배의 적응증(indication) 수준 개선을 달성했다.

DeepCRE는 도메인 적응 기반의 효과적인 모델로 환자 수준 약물 반응 예측에서 현저한 성능 향상을 달성했으나, 다양한 암 종류 및 대규모 임상 데이터에 대한 추가 검증과 예측 결과의 생물학적 해석 강화가 신약 개발 분야의 실제 혁신으로 이어지기 위해 필수적이다.

다중 에이전트 AI 시스템의 대규모 배포로 인해 발생하는 새로운 위험들을 체계적으로 분류하고, 3가지 주요 실패 모드(miscoordination, conflict, collusion)와 7가지 위험 요소(information asymmetries, network effects, selection pressures 등)를 제시한 구조화된 분류 체계이다.

본 논문은 급속히 증가하는 다중 에이전트 AI 시스템의 고유한 위험을 처음으로 체계적으로 분류하고, 금융, 군사, 인프라 등 이미 배포 중인 현실 사례를 통해 긴급성을 강조한 중요한 기술 보고서이다. 실증적 기초와 실행 가능한 권장사항을 제시했으나, 정량적 모델링과 구체적 기술적 완화 전략의 깊이는 향후 연구과제로 남아있다.

 *그래프팅 밀도(grafting density)와 용매 환경에 따른 그래프트 중합체의 구조 변화: 팬케이크(pancake), 버섯(mushroom), 브러시(brush), 고밀도 브러시(high-density brush) 형태* 본 논문은 고밀도 그래프트 중합체(polymer brush)의 합성, 시뮬레이션, 특성분석에 AI/ML 워크플로우를 통합하여, 자율 실험실(self-driving laboratory, SDL)을 통한 고속화 및 최적화를 제안하는 리뷰 논문이다. 인터페이스 화학과 콜로이드 과학의 교집합에서 다양한 응용(마이크로플루이딕스, 센서, 생체 의료용)으로의 전환을 가속화하는 데 중점을 둔다.

본 논문은 고전적인 중합체 과학 분야에 AI/ML과 자율 실험실 개념을 유입하여 패러다임 전환을 제시하는 중요한 리뷰 논문이다. 특히 다중 특성분석 기법의 통합, 데이터-피드백-실험 자동화, 산업 응용의 가속화라는 세 가지 핵심 가치를 명확히 하고 있다. 다만 구체적인 AI/ML 알고리즘 구현 사례, 성능 검증 데이터, 자율 실험실 프로토타입의 세부 사항이 부족하여, 후속 연구에서 이러한 요소들의 구체적 실현이 절실히 요구된다.

 *Figure 1: The LLM-Powered Research Constellation. At each stage of the research process, from initial* 재료과학과 화학 분야에서 대규모 언어모델(LLM)의 34가지 응용 사례를 분석하여 자동화, 어시스턴트, 에이전트 및 가속화된 과학 발견을 위한 LLM의 역할을 제시한다.

본 논문은 재료과학·화학 분야에서 LLM의 광범위한 응용 사례를 체계적으로 분석하여 AI 기반 과학 발견의 가능성을 명확히 보여준다. 다만 신뢰성, 해석가능성, 재현성 등의 근본적 과제 해결이 실제 과학 워크플로우 통합의 선결 조건이다.

 *그림 1: k-agents 프레임워크의 개요. 자연언어로 된 절차가 주어지면, 실행 에이전트가 이를 에이전트 기반 상태 머신으로 분해한다.* 본 논문은 대규모 언어모델(LLM) 기반 다중 에이전트 시스템인 **k-agents 프레임워크**를 제안하여, 양자 컴퓨팅 실험실의 자동화를 실현한다. 특히 다단계 실험 절차를 상태 머신으로 분해하고 폐루프 피드백 제어를 통해 초전도 양자 프로세서의 캘리브레이션과 얽힌 양자상태 생성을 자동으로 수행한다.

본 논문은 LLM 기반 다중 에이전트 시스템을 양자 실험실 자동화에 창의적으로 적용하여, 인간 수준의 실험 수행 능력을 입증했다는 점에서 높은 가치를 지닌다. 특히 에이전트 기반 상태 머신과 벡터 기반 에이전트 선택은 복잡한 실험실 자동화의 확장성 문제를 해결하는 우수한 접근이다. 다만 타 분야 일반화 검증과 알고리즘의 이론적 근거가 강화된다면 더욱 영향력 있는 작업이 될 것이다.

글로벌 제약 산업에서 미국 외 지역(특히 중국)의 신약 자산이 지역 언어, 비영어 채널을 통해 공개됨에 따라, 다국어 멀티에이전트 파이프라인과 완전성(Completeness) 중심의 벤치마크를 구축하고, 이를 기반으로 한 Bioptic Agent를 제안하여 기존 Deep Research AI를 크게 초과하는 성능을 달성했다.

이 논문은 제약 산업의 글로벌화된 현실(비영어권 신약 자산의 증가)을 정확히 포착하여, 역방향 벤치마크 설계와 투자자 행동 기반 쿼리 생성이라는 독창적 방법론으로 완전성 중심의 평가 체계

본 논문은 **OpenClaw를 기반으로 한 분리된(decoupled) 에이전트-스킬(agent-skill) 설계**를 통해 다단계 계산화학 작업의 자동화를 달성한다. 일반 목적의 대언어모델 기반 에이전트가 추론과 조정을 담당하고, 재사용 가능한 도메인 스킬이 구체적인 화학 계산 절차를 캡슐화하여 확장성과 유지보수성이 높은 시스템을 실현했다.

 *MOLLEO 프레임워크 개요: 초기 분자 풀에서 출발하여 LLM을 교차(crossover) 및 돌연변이(mutation) 연산자로 활용하는 진화 알고리즘* 대규모 언어모델(LLM)을 진화 알고리즘(EA)의 유전 연산자로 통합하여 화학 공간 탐색의 효율성을 획기적으로 향상시키는 MOLLEO 프레임워크를 제안한다. 이는 검은 상자 분자 최적화 문제에서 필요한 목적 함수 평가 횟수를 대폭 감소시킨다.

MOLLEO는 LLM과 EA의 시너지를 체계적으로 입증한 혁신적 연구로, 분자 최적화 분야의 샘플 효율성 문제를 실질적으로 해결하며 ICLR 2025 게재 기준의 높은 수준을 충족한다. 다만 실제 산업 적용을 위한 경제성 분석과 프롬프트 최적화 전략의 심화가 후속 과제로 남아있다.

동적 제조 프로세스(Dynamic Manufacturing Process)의 적응형 제어를 위해 생성형 머신러닝(Generative Machine Learning)을 통합하는 방법론을 제시하는 종합 리뷰 논문으로, 확률적 이해를 제어 가능한 실행 계획으로 변환하는 제어 지향적 관점을 제공한다.

이 논문은 생성형 머신러닝을 동적 제조 프로세스의 적응형 제어에 통합하는 방법론을 체계적으로 제시하는 중요한 리뷰 논문으로, 제어 지향적 기능 분류 프레임워크와 함께 기존 방식의 한계를 명확히 지적하고 미래 연구 방향을 제안한다. 다만 실증 사례와 구체적 기술 개발 결과를 보강하면 더욱 실용적 가치가 높을 것으로 판단된다.

본 논문은 구조 기반 약물 설계(Structure-Based Drug Design, SBDD)를 위해 언어 모델(Language Models, LMs)을 활용하는 새로운 방법인 Frag2Seq를 제시한다. SE(3)-동변(equivariant) 좌표계를 통해 3D 분자 기하학 정보를 보존하면서 프래그먼트 기반 시퀀스로 변환하고, 단백질 포켓 임베딩을 교차 주의(cross-attention)로 통합하여 표적 단백질에 높은 결합 친화도를 가진 약물 유사 리간드를 효율적으로 생성한다.

본 논문은 SE(3)-동변 이론을 기반으로 3D 분자 기하학을 보존하면서 언어 모델을 SBDD에 최초로 프래그먼트 단위로 적용한 창의적인 접근이다. 수학적 근거(Lemma 3.2)와 높은 생성 효율(~300배 속도향상)은 강점이지만, 휴리스틱한 프래그먼트 분해 전략, 단백질 포켓 임베딩의 한계, 그리고 실험 검증의 범위가 제한적인 점은 개선이 필요하다. 향후 더 넓은 스펙트럼의 약물학적 성질 평가와 실험적 검증을 통해 임상 적용 가능성을 입증할 수 있다면 상당한 임팩트를 가질 수 있는 논문이다.

 *Figure 2: 최적화 목표 달성을 위한 다양한 추론 시간 기법들 (Best-of-N, 분류기 가이던스, SMC 기반 가이던스, 값 기반 중요도 샘플링)* 본 튜토리얼은 사전학습된 확산 모델을 미세조정하지 않으면서 추론 시간(inference time)에 보상 함수(reward function)를 최대화하는 정렬(alignment) 기법들을 통일된 관점에서 리뷰하고, 단백질 설계 같은 과학 분야에서 실제로 유용한 비미분 가능한 보상 피드백을 다루는 방법론들을 포괄적으로 다룬다.

본 튜토리얼은 확산 모델의 추론 시간 정렬 기법들을 처음으로 체계적으로 통합하는 시도로서, 특히 비미분 보상이 실제인 과학 도메인의 관점에서 현실적 가치가 높으며, 제시된 프레임워크는 향후 연구의 이론적 기초가 될 수 있다. 다만 각 기법의 근사 품질, 수렴성, 값 함수 오차의 영향 등에 대한 정량적 이론 분석이 보강된다면 더욱 강력한 참고 자료가 될 것이다.

 *다양한 중간 추론 단계 생성 및 검증 방법 비교* 본 논문은 대규모언어모델(LLM)과 형식 정리 증명기(formal theorem prover)의 상호작용을 통해 고품질의 수학 정리와 증명 데이터를 대규모로 생성하는 MUSTARD 프레임워크를 제안한다. 생성된 5,866개의 검증된 데이터로 구성된 MUSTARDSAUCE 벤치마크를 통해 미세조정된 언어모델의 수학적 추론 능력을 평균 15.41% 상대성능 향상으로 입증한다.

MUSTARD는 LLM과 형식 정리 증명기의 상호작용을 통해 대규모 고품질 수학 데이터를 자동 생성하는 효과적인 프레임워크를 제시하며, 공개 벤치마크 MUSTARDSAUCE의 실제 성능 향상으로 실용성을 입증한 우수한 논문이다.

 *그림 1: OAG-Bench의 포괄적 개요 - 10개 과제, 20개 데이터셋, 70+ 베이스라인 방법* 본 논문은 학술 그래프 마이닝(academic graph mining)을 위한 포괄적인 인간-주석(human-curated) 벤치마크인 OAG-Bench를 제시한다. 개방학술그래프(Open Academic Graph, OAG)를 기반으로 저자 이름 중복 제거, 논문 추천, 학자 프로파일링 등 10개의 다양한 과제를 포함하며, 세밀한 다중 관점 주석과 표준화된 평가 프로토콜을 제공한다.

OAG-Bench는 학술 그래프 마이닝 분야에 필요한 포괄적이고 고품질의 벤치마크를 제시하며, 70+ 베이스라인과 LLM 성능 분석을 통해 현재 알고리즘의 한계를 명확히 드러낸다. 개방성과 확장성으로 인해 학술 그래프 관련 연구의 중요한 참조점이 될 것으로 예상되나, 주석 프로토콜의 세부 기술화와 도메인 편향성 분석이 보완되면 더욱 견고한 자원이 될 것이다.

 *Figure 2: arXiv에서 Science4Cast로의 변환 과정. 143,000개의 AI/ML 논문으로부터 64,000개의 개념 노드와 1,800만 개의 엣지를 가진 의미적 네트워크 구축* 본 논문은 AI 연구의 지수적 성장에 대응하기 위해 의미적 네트워크(semantic network)에서의 링크 예측(link prediction) 문제를 통해 미래의 AI 연구 방향을 예측한다. 143,000개의 arXiv 논문으로부터 구축된 64,000개 개념 노드의 네트워크에서 향후 함께 연구될 개념 쌍을 예측하는 것을 목표로 한다.

본 논문은 급증하는 AI 학술 문헌에서 미래 연구 방향을 예측하는 혁신적인 접근법을 제시하며, 대규모 실제 데이터 기반의 벤치마크와 다양한 방법론 비교를 통해 학문적 가치가 높다. 다만 개념 추출의 정확성 개선과 예측 결과의 과학적 임팩트 검증이 필요하다.

 *LEGO-Prover의 구조: (a) Plain prover와의 비교 - LEGO-Prover는 모듈식 증명 구성, (b) 프로버(Prover)와 에볼버(Evolver)로 이루어진 전체 프레임워크* 대규모 언어모델(LLM)을 이용한 신경 정리 증명(Neural Theorem Proving)에서 검증된 보조정리(lemma)를 재사용 가능한 기술(skill)로 활용하는 성장 가능한 라이브러리를 도입함으로써, 모듈식 증명 구성을 통해 증명 능력을 대폭 향상시킨다. 이를 통해 miniF2F 벤치마크에서 최첨단 성능을 달성하고 22,532개의 검증된 기술을 자동 생성한다.

LEGO-Prover는 신경 정리 증명에 성장 가능한 검증된 보조정리 라이브러리를 도입하는 창의적 접근으로 명확한 성능 향상을 달성하였으며, 생성된 대규모 기술 라이브러리의 실용적 가치를 입증했다. 다만 더 복잡한 수학 문제로의 확장성과 계산 비용 효율성에 대한 추가 검증이 필요하다.

 *Figure 1: Zero-shot LLM, RAG 프레임워크, Graphusion의 지식그래프 구축 방식 비교* 본 논문은 대규모언어모델(LLM)을 활용하여 자유로운 텍스트에서 **전역적 관점(global perspective)**을 고려한 과학 분야의 지식그래프(Knowledge Graph, KG)를 구축하는 새로운 프레임워크 Graphusion을 제안한다. 기존 로컬 중심의 방법을 넘어 엔티티 병합, 충돌 해결, 신규 관계 발견을 통해 통합된 지식그래프를 생성한다.

Graphusion은 LLM 기반 지식그래프 구축에서 로컬에서 전역적 관점으로의 전환을 효과적으로 구현하며, 특히 체계적인 지식 융합 모듈과 교육 도메인의 실제 적용을 통해 실질적 기여를 제시한다. 다만 도메인 특화성, 충돌 해결 메커니즘의 상세 기술화, 대규모 확장성 검증이 추가로 필요하다.

과학적 지식 그래프(Scientific Knowledge Graphs)를 활용하여 새로운 연구 가설을 자동으로 생성하는 방법론을 제시한다. 특히 대규모 언어모델(LLM)과 구조화된 지식 표현을 결합하여 학제 간 연구 연결과 숨겨진 지식을 발굴하는 접근법을 제안한다.

본 논문은 지식 그래프와 대규모 언어모델을 통합하여 과학적 가설 생성의 신뢰성과 창의성을 동시에 추구하는 유의미한 접근법을 제시하지만, 평가 자동화, 다양한 도메인 적용 사례, 인간-AI 협력 모델의 구체적 설계가 강화되면 더욱 완성도 있는 기여가 될 것으로 판단된다.

인도네시아어 COVID-19 자동 팩트체킹 성능 향상을 위해 지식 그래프(Knowledge Graph)를 외부 지식으로 활용하여 자연어 추론(Natural Language Inference, NLI)을 개선하는 연구이다. 세 개 모듈(NLI 모듈, 팩트 모듈, 분류기 모듈)로 구성된 아키텍처를 통해 최대 0.8616의 정확도를 달성했다.

저자원 언어 기반 COVID-19 팩트체킹에 지식 그래프를 활용한 실용적 연구로, 사회적 가치는 높으나 기술적 혁신성은 제한적이다. 단순한 검색 메커니즘 개선과 더 정교한 지식 통합 방식이 필요하다.

 *Chemist-X의 3단계 반응 조건 최적화(RCO) 프레임워크: LLM 에이전트에 의해 완전 자동 실행됨* 본 논문은 대규모 언어 모델(LLM)을 기반으로 한 화학 합성 반응 조건 최적화를 위한 통합 AI 에이전트 Chemist-X를 제시한다. 검색 증강 생성(RAG) 기술, 컴퓨터 보조 설계(CAD) 도구, 자동화 로봇 시스템을 결합하여 인간 화학자의 문제 해결 방식을 모방하며, 완전 자동화 습식 실험실(wet-lab) 실행을 가능하게 한다.

Chemist-X는 RAG, LLM, 자동화 로봇을 통합하여 반응 조건 최적화의 완전 자동화를 시도한 야심 찬 연구로, 기술적 건전성과 실

대규모 언어모델(LLM) 기반 자동화 현미경 실험 시스템(AILA)을 구축하고, 원자력 현미경(AFM) 실험의 완전한 과학적 워크플로우를 평가하는 종합 벤치마크(AFMBench)를 개발했다. 최첨단 AI 모델들도 기본 작업에서 어려움을 겪으며, 도메인 특화 질의응답 성능이 실제 에이전트 능력으로 전환되지 않음을 밝혔다.

본 논문은 LLM 기반 자동화 실험실의 신뢰성을 체계적으로 검증하는 현실적이고 중요한 연구로, 도메인 QA 성능과 실무 능력의 불일치 현상 같은 중요한 통찰을 제시한다. 다만 AFM 특화 평가, 프롬프트 불안정성의 근본 원인 분석 미흡, 그리고 현재 모델의 저조한 성능으로 인해 실제 배포에 이르는 경로는 아직 명확하지 않다는 점이 한계이다.

 *Figure 1: Biomni의 통합 생의학 행동 공간 및 에이전트 환경 개요. (a) 생의학 논문에서 체계적으로 행동을 발견하는 워크플로우* 본 논문은 생의학 연구의 단편화된 워크플로우 문제를 해결하기 위해 일반목적 생의학 AI 에이전트 Biomni를 제시한다. 이는 150개의 전문 도구, 105개의 소프트웨어 패키지, 59개의 데이터베이스를 통합한 최초의 통합 생의학 행동 공간(Biomni-E1)과 이를 활용하는 지능형 에이전트 아키텍처(Biomni-A1)로 구성되어 있다.

본 논문은 생의학 연구의 실질적 병목을 해결하기 위한 최초의 일반목적 생의학 AI 에이전트를 제시하는 역작으로, 대규모 통합 환경 구축과 다양한 현실 사례 입증을 통해 높은 임팩트를 보이나, 정량적 벤치마킹과 기술 상세 설명의 강화로 더욱 견실한 기여가 될 수 있다.

 *Visual Retrieval-Augmented Generation(VisRAG)과 도메인 특화 도구를 결합하여 과학 이미지 분류를 수행하는 AISciVision의 워크플로우. 테스트 이미지에 대해 유사한 긍정/부정 예시를 검색한 후, LMM 에이전트가 여러 라운드에서 도구를 사용하여 분석을 정제하고 최종 예측과 추론 기록(transcript)을 생성한다.* 대규모 다중모달 모델(LMM)을 과학 영상 분류 작업에 특화시키는 프레임워크로, 시각적 검색 기반 생성(VisRAG)과 도메인 특화 도구를 활용하여 해석 가능하고 신뢰할 수 있는 AI 시스템을 구현했다.

AISciVision은 투명성과 성능을 결합한 실용적인 과학 AI 프레임워크로, 실제 배포를 통해 과학 연구에 기여하는 점이 강점이다. 다만 기술적 세부사항과 광범위한 평가 분석이 보강되면 더욱 견고한 논문이 될 수 있다.

 *Figure 1: EAA의 주요 구성 요소 및 상호작용. 작업 관리자(Task Manager)가 채팅 루프 또는 워크플로우를 포함하며, 에이전트 객체를 생성 및 유지하고 문맥을 관리한다.* 본 논문은 비전 언어 모델(Vision Language Model, VLM) 기반 에이전트 시스템인 EAA(Experiment Automation Agents)를 제시하며, 이는 복잡한 미시경 실험 워크플로우를 자동화하기 위해 멀티모달 추론, 도구 기반 행동, 장기 메모리를 통합한다. Advanced Photon Source의 이미징 빔라인에서 자동 영역판 초점 맞춤, 자연언어 기반 특성 검색, 대화형 데이터 획득을 구현하여 사용자 접근성을 대폭 개선한다.

본 논문은 과학 실험 자동화라는 실제 문제 영역에서 VLM 에이전트의 실용적 응용을 체계적으로 설계하고 구현한 좋은 사례를 제시한다. 특히 세 단계 LLM-논리 제어 모델과 MCP 양방향 호환성은 산업 생산 환경에서의 에이전트 신뢰성 확보와 생태계 호환성을 고려한 실용적 기여이나, 단일 시설 실증과 정량적 평가 부재로 인한 일반화 가능성과 성능 개선 정도의 객관적 입증이 약점이다.

OpenAI의 o1-preview 대규모 언어 모델(LLM)을 다양한 복잡 추론 작업에 걸쳐 포괄적으로 평가한 결과, 컴퓨터 과학, 수학, 자연과학, 의학, 언어학, 사회과학 등 여러 영역에서 인간 수준 이상의 성능을 달성했으며, 이는 인공일반지능(AGI) 달성을 위한 중요한 진전을 시사한다.

본 논문은 OpenAI o1의 능력을 가장 광범위하게 평가한 첫 종합 연구로서, 다양한 분야에서 인간 수준 이상의 성능을 실증함으로써 AGI 달성에 대한 중요한 근거를 제시했으며, 제시된 AGI-Benchmark 1.0은 향후 LLM 평가의 표준이 될 수 있는 중대한 기여이다. 다만 멀티모달 통합, 도메인 외 일반화, 그리고 실제 배포 시 윤심사항 등에서 추가 연구가 필요하다.

본 논문은 환경과학 분야에서 파운데이션 모델(Foundation Models)의 응용을 포괄적으로 검토한 최신 서베이이며, 대규모 사전학습을 통해 복잡한 환경생태계 모델링의 새로운 패러다임을 제시한다.

본 논문은 빠르게 발전하는 파운데이션 모델 기술과 환경과학의 시급한 과제를 연결하는 의미 있는 시도로, 학제 간 협력의 중요성을 강조하며 향후 연구 방향을 제시하는 가치 있는 서베이이나, 더욱 깊이 있는 기술 사례와 실제 구현 경험에 대한 보완이 필요하다.

본 논문은 AI(인공지능)와 과학 연구의 융합을 포괄적으로 다룬 보고서로, 과학적 발견의 새로운 패러다임으로서 "AI for Science(AI4S)"의 정의, 발전 추세, 그리고 9개 분야에서의 구체적 적용 현황을 제시한다. 2015-2024년 글로벌 학술 출판 데이터를 기반으로 AI 혁신이 기존의 실험 과학, 이론 과학, 계산 과학에 이어 새로운 다섯 번째 연구 패러다임을 형성하고 있음을 보여준다.

본 보고서는 AI 혁신이 단순한 기술 도구를 넘어 과학 연구의 근본적 패러다임 변화를 주도하고 있음을 국제적 관점에서 체계적으로 검증하며, 각 분야별 구체적 성과와 미해결 과제를 균형있게 제시하여 학계·산업·정책 영역에 거대한 참고 자료를 제공한다. 다만 인과성 규명, 합성 데이터의 과학적 타당성, AI의 진정한 창의성 같은 근본적 한계에 대한 심층적 성찰이 향후 보완될 필요가 있다.

 *그림 1: 생물정보학의 기초 모델. 고처리량 데이터(DNA, RNA, 단백질, 분자)로부터 다양한 다운스트림 작업(게놈학, 전사체학, 단백질학, 약물 발견, 단일 세포 분석)을 수행하는 기초 모델의 종류 및 활용.* 기초 모델(FM)이 생물정보학에 도입되면서 AI는 대규모 미표지 데이터 처리, 사전학습(pre-training) 프레임워크, 모델 평가 및 해석 가능성 등 역사적 과제들을 해결하고 있다. 본 논문은 언어 FM, 시각 FM, 그래프 FM, 다중모달 FM의 4가지 유형으로 분류된 기초 모델들이 게놈학, 전사체학, 단백질학, 약물 발견, 단일 세포 분석 등 다양한 생물정보학 응용에서 달성한 최근 성과를 종합적으로 검토한다.

본 논문은 급속히 발전하는 생물정보학 기초 모델 분야를 종합적으로 정리한 중요한 리뷰로, 4가지 FM 유형과 5가지 응용분야의 이원 분류체계를 통해 실무자의 모델 선택을 돕는 실질적 가치가 있다. 다만 해석 가능성, 환각 문제, 벤치마크 표준화 같은 개방된 과제들에 대한 구체적 해결 방안이 추가되면 논문의 완성도가 더욱 높아질 것으로 예상된다.

 *기초 모델의 실험실 자동화를 위한 주요 역할: 인지 기능(두뇌)과 물리 기능(신체)* 본 논문은 재료 과학 연구의 실험실 자동화를 위해 기초 모델(foundation models)을 활용할 수 있는 방안을 탐색하는 종합 리뷰이다. 기초 모델의 인지적 역할(실험 계획, 데이터 분석)과 물리적 역할(하드웨어 제어)을 강조하며, 개방형 환경에서의 완전 자동화 실험실 구현을 위한 로드맵을 제시한다.

본 논문은 기초 모델과 로봇 자동화의 결합이라는 시의적절한 주제를 다루며, 현 단계 실험실 자동화의 한계를 명확히 하고 개방형 환경 자동화라는 비전을 제시하는 가치 있는 전망(perspective)이다. 다만 구체적인 기술 검증(예: 안전성 검증, 멀티모달 통합 알고리즘)과 실제 구현 사례가 더 상세히 필요하며, 현재는 개념 제시 수준에 머물러 있다는 한계가 있다.

ChatGPT는 2023년 과학 분야에 광범위한 영향을 미친 생성형 AI로, 연구 지원의 기회와 동시에 표절, 오류, 편향 등의 위험을 초래했다.

이 분석은 ChatGPT라는 현상을 과학 커뮤니티의 관점에서 균형잡게 조망한 의미 있는 보도이며, 생성형 AI가 과학에 미치는 이중적 영향을 명확히 인식하도록 촉구한다. 다만 구체적 해결책 제시가 미흡하여 후속 정책 논의와 기술 개발을 위한 더 깊이 있는 연구가 필요하다.

신경망(Neural Networks, NN) 기반의 과학 기계학습(Scientific Machine Learning, SciML)에서 예측 불확실성을 체계적으로 정량화하는 포괄적 프레임워크를 제시하고, 다양한 UQ 방법들을 함수 근사, 편미분방정식 풀이, 연산자 학습 문제에서 비교 평가한다. 특히 물리정보신경망(Physics-Informed Neural Network, PINN)과 심층연산자망(DeepONet)을 중심으로 불확실성 모델링, 정량화 방법, 평가 지표를 통합적으로 다룬다.

본 논문은 과

 *그림 1: 기존 UQ 방법 설문의 분류 체계 비교* 본 논문은 딥러닝의 불확실성 정량화(Uncertainty Quantification, UQ) 방법을 불확실성의 원천(데이터 불확실성 vs 모델 불확실성)에 따라 체계적으로 분류하는 최초의 종합 설문이다. 기존 설문과 달리 신경망 아키텍처나 베이지안 형식이 아닌 불확실성 원천 관점에서 UQ 방법들을 분석함으로써 실무 응용에 적합한 방법 선택을 용이하게 한다.

본 설문은 불확실성 원천이라는 실용적 관점에서 처음으로 UQ 방법을 체계화하여, 다양한 응용에서 적절한 UQ 방법 선택을 돕는 가치 있는 참고자료가 된다. 특히 고위험 응용과 신뢰성 있는 AI 개발의 시대에 시의적절한 기여를 하나, 각 방법의 비교 분석과 계산 효율성 논의가 더욱 심화된다면 더욱 실용적일 것으로 예상된다.

 *신경 연산자의 발전 역사* 편미분방정식(PDE) 해법으로 전통 수치해석 방법을 대체할 수 있는 신경 연산자(Neural Operators, NOs)의 아키텍처, 변형, 성능을 종합적으로 비교 분석한 체계적 리뷰 논문이다. DeepONet, 적분 커널 연산자, 트랜스포머 기반 신경 연산자의 세 가지 주요 아키텍처와 이들의 물리정보 통합 변형, 복잡계 응용을 다룬다.

신경 연산자의 주요 아키텍처와 변형을 체계적으로 정리하고 성능을 실증적으로 비교한 가치 있는 종합 리뷰로, PDE 해법 분야에서 신경 연산자 적용을 추진하는 연구자와 실무자에게 실질적 가이드라인을 제공한다. 다만 이론적 수렴성 분석이 부족하고 고차원 문제에서의 근본적 한계가 여전히 미해결 상태인 점이 한계이다.

물리 방정식을 신경망의 손실함수에 직접 인코딩하는 PINN(Physics-Informed Neural Networks)에 관한 종합적 문헌 리뷰로, 이 기법의 발전, 변형, 적용 사례 및 미해결 이론적 문제들을 다룬다.

본 논문은 Physics-Informed Neural Networks 분야의 종합적이고 신뢰할 수 있는 현황 보고서로, 명확한 분류 체계와 미해결 이론적 문제를 제시함으로써 과학계산 기계학습의 다음 단계 발전을 위한 로드맵을 제공한다. 다만 각 기법의 정량적 성능 비교와 이론적 분석이 더 심화되면 더욱 값진 참고자료가 될 수 있다.

본 논문은 에너지 효율성을 갖춘 물리정보신경망(Physics-informed Neural Network, PINN) 기반의 연산자 학습 모델을 제안한다. 신경과학에 영감을 받은 스파이킹 뉴런(spiking neuron)을 통해 희소 이벤트 기반 연산을 구현하면서도 물리 제약 조건 시행에 필요한 미분 가능성을 유지하는 아키텍처적 분리(architectural separation)를 핵심으로 한다.

 *그림 1: (a) 학술 커뮤니티가 피어 리뷰에 LLM 도입을 시작했으며, (b) 프롬프트 주입을 통한 명시적 조작, (c) LLM이 저자가 공개한 한계를 인용할 가능성이 높으며, (d) 불완전한 콘텐츠에도 부당히 높은 점수를 부여함* 본 연구는 학술 피어 리뷰에 대규모 언어모델(LLM)을 활용할 때의 심각한 보안 취약점을 최초로 종합적으로 분석한 논문이다. 저자들은 명시적 조작(explicit manipulation)과 암시적 조작(implicit manipulation), 그리고 LLM의 내재적 결함을 통해 LLM 기반 리뷰어가 얼마나 쉽게 오도될 수 있는지를 실증적으로 입증한다.

본 논문은 LLM을 피어 리뷰에 도입하려는 학술 커뮤니티에 대해 시의적절하고 중요한 경고를 제시한다. 명시적·암시적 조작과 내재적 편향을 체계적으로 입증함으로써 LLM을 단독 리뷰어가 아닌 보조 도구로만 활용해야 함을 강하게 주장한다. 다만 다양한 모델 및 학회로의 확대 검증과 방어 메커니즘 제시를 통해 영향력을 더욱 높일 수 있을 것으로 예상된다.

ML/AI 학술대회의 자동화된 심사위원 배정 시스템에서 텍스트 매칭(text-matching) 알고리즘이 담합(collusion) 공격에 취약함을 입증한다. SPECTER 임베딩 기반의 유사도 계산이 공모하는 저자와 심사위원에 의해 조작될 수 있으며, 이를 통해 심사위원의 순위를 101위에서 상위 5위로 올릴 수 있음을 보였다.

이 논문은 자동화된 학술 심사 시스템의 텍스트 매칭 기반 심사위원 배정이 예상외로 담합에 취약함을 처음 입증하며, NeurIPS 실제 데이터로 92% 공격 성공률을 달성했다. 이미 OpenReview 등 주요 플랫폼에 보안 개선이 적용되어 실질적 영향력을 발휘하고 있는 중요한 보안 연구이다.

 *그림 1: 기존 LLM 피어리뷰 접근법과 개선된 프레임워크 비교* 대규모언어모델(LLM)의 학술 논문 피어리뷰 과정을 단순한 정적 검토 생성에서 저자-검토자-의사결정자 간의 동적 다중턴 대화로 재정의하고, 92,017개의 검토문을 포함한 대규모 데이터셋(ReviewMT)을 구축했다.

이 논문은 대규모언어모델의 학술 피어리뷰 적용을 현실적 다중턴 대화 구조로 혁신적으로 재설정하고, 이를 뒷받침하는 대규모 고품질 데이터셋을 공개함으로써 학술 AI 응용의 중요한 기초를 제공한다. 다만 LLM 성능 평가 결과의 부재와 자동 평가 메트릭스의 미성숙이 시급한 과제이며, 실제 학술 생태계에 미치는 영향에 대한 심층 논의가 필요하다.

 *ReviewEval과 ReviewAgent: 논문과 학회/저널 가이드라인이 주어졌을 때, ReviewAgent가 AI 기반 리뷰를 생성하고 ReviewEval을 통해 다양한 차원에서 평가* 학술 논문 동료 평가(peer review) 부족 문제를 해결하기 위해 LLM 기반 리뷰 시스템의 신뢰성을 평가하는 종합 프레임워크 ReviewEval과 자체 개선 루프를 갖춘 AI 리뷰어 ReviewAgent를 제안한다.

이 논문은 AI 생성 학술 리뷰의 품질을 다각적으로 평가하는 포괄적 프레임워크를 제시하여 이 분야의 중요한 공백을 메우고 있다. 특히 사실성, 분석 깊이, 실행 가능성과 같은 새로운 평가 차원과 자동화된 사실 검증 파이프라인이 가치있는 기여이나, 제한된 데이터셋 규모와 실제 학회 적용 검증을 통해 실무적 영향력을 더욱 강화할 필요가 있다.

본 논문은 학술 저술 및 피어 리뷰 과정에서 대규모 언어모델(LLM)의 침투 정도를 측정하기 위한 포괄적 평가 프레임워크를 제시한다. ScholarLens 데이터셋과 LLMetrica 도구를 통해 규칙 기반 지표와 모델 기반 탐지기를 결합하여 학술 워크플로우에서의 LLM 사용 추세를 다각도로 분석한다.

본 논문은 학술 커뮤니티에서 시급한 LLM 투명성 문제를 다루는 실질적 도구와 데이터셋을 제공하며, 다각도 평가 프레임워크와 학술 영역 특화 지표 개발이 돋보인다. 다만 시간성과 도메인 일반화 측면의 한계를 보완한다면 학술 출판 거버넌스 개선에 더욱 기여할 수 있을 것이다.

 *OverleafCopilot의 전체 기술 프레임워크* 본 논문은 대규모 언어 모델(LLM)을 학술 논문 작성 플랫폼인 Overleaf에 통합하는 Chrome 브라우저 확장 프로그램 OverleafCopilot을 제시한다. 연구자들이 LLM의 강력한 기능을 활용하면서도 원활한 사용자 경험과 개인정보 보호를 보장하는 시스템을 구현했다.

OverleafCopilot은 학술 커뮤니티의 실질적인 필요를 충족하는 실용적인 도구로서 가치가 있으나, 기술 보고서로서 엄격한 평가 기준이나 성능 검증 데이터가 부족하다. 제품의 상용성과 실제 사용자 피드백은 강점이지만, 학술 논문으로는 보다 체계적인 실험 설계와 정량적 평가가 필요하다.

 *AI 학술대회 제출 논문 수의 급증 추세 (2019-2025). NeurIPS, CVPR, AAAI, ICML, ICLR 등 주요 학회의 제출 논문이 2025년까지 10,000편을 초과했으며, ICLR의 경우 2025년 한 해에만 59.8% 증가함.* 본 논문은 AI 학술대회의 급증하는 논문 제출(연 10,000편 초과)로 인한 피어 리뷰 품질 저하 문제를 진단하고, **양방향 피드백 시스템과 체계적 심사자 보상 제도**를 통해 심사자 책임성과 동기 부여를 강화하는 개혁방안을 제시한다.

본 논문은 AI 컨퍼런스 피어 리뷰 위기의 근본 원인을 체계적으로 분석하고, 권력 불균형 해소와 심사자 동기부여라는 두 가지 관점에서 실행 가능한 개혁안을 제시한 의미 있는 위치 논문이다. 다만 양방향 피드백 시스템의 세부 구현과 보복 방지 메커니즘, 보상 시스템의 실질적 운영 방안에 대한 더욱 정교한 설계가 필요하다.

 *Figure 1: (a) 핵심 인용(Core Citation) 정의. (b)(c) 핵심 인용과 표면적 인용의 통계적 차이: 키워드 겹침(b)과 주요 텍스트 내 언급 빈도(c)* 본 논문은 과학 논문의 인용 예측 문제를 단순한 이진 분류에서 벗어나 **핵심 인용(core citations)**을 표면적 인용 및 비인용과 구별하는 다단계 분류 문제로 재정의하고, 임베딩 모델과 생성형 LLM을 결합한 하이브리드 워크플로우(HLM-Cite)를 제안한다.

본 논문은 인용 예측 문제를 개념적으로 재정의하고 하이브리드 모델을 통해 실질적인 확장성을 달성한 견실한 연구이다. 특히 100K 후보 집합 처리와 17.6% 성능 개선은 실무적 가치가 높으나, 핵심 인용 정의의 순환성과 LLM 기반 추론의 효율성 개선이 향후 중요한 과제로 남아있다.

 *ScholarSearch의 데이터 수집 파이프라인: 학생들이 수집한 데이터를 여러 LLM으로 필터링한 후 전문 검토팀이 유일성, 출처 접근성, 학술적 정확성을 검증* 본 논문은 LLM의 복잡한 학술 정보 검색 능력을 평가하기 위한 첫 번째 전문 벤치마크인 **ScholarSearch**를 제시한다. 기존의 학술 벤치마크(MMLU, GPQA)나 일반 웹 검색 벤치마크(BrowseComp)로는 충분하지 않은 깊이 있는 학술 연구 검색 능력을 측정한다.

ScholarSearch는 LLM의 학술 정보 검색 능력을 평가하기 위한 실질적이고 도전적인 벤치마크로서, 기존 벤치마크의 공백을 효과적으로 메운다. 데이터 수집의 엄격성과 학문 분야의 다양성이 강점이나, 규모 확장과 평가 메커니즘의 정교화를 통해 더욱 강력한 평가 도구로 발전할 수 있는 잠재력을 보유하고 있다.

인용문헌 추천 시스템(citation recommendation systems)의 평가를 위한 표준화된 벤치마크를 제안하는 논문으로, 다양한 모델, 데이터셋, 평가 지표의 불일치 문제를 해결하고자 진단 데이터셋(diagnostic datasets)과 일관된 평가 메트릭을 제시한다.

인용 추천 시스템 평가의 표준화라는 절실한 문제를 해결하고, 다층적 진단 데이터셋을 제시한 점에서 학술 가치가 높다. 다만, 다양한 신경망 모델에 대한 벤치마크 결과 제시와 공정성·저자원 시나리오에 대한 더 심층적 분석이 보강되면 더욱 영향력 있는 연구가 될 것으로 예상된다.

수천 개의 학술논문을 다수 입력 문서로 하여 구조화된 요약(structured summary)을 자동으로 생성하는 첫 번째 대규모 데이터셋 BigSurvey와 카테고리 기반 정렬 및 희소 트랜스포머(CAST) 방법을 제안한다.

BigSurvey 데이터셋과 CAST 방법은 수십 개 학술논문의 구조화된 요약 자동 생성이라는 실질적 문제를 처음으로 체계적으로 다루었으며, 특히 카테고리 기반 정렬을 통해 다양한 출처의 콘텐츠 조직화라는 핵심 과제를 창의적으로 해결한 점에서 높이 평가된다. 다만 모델 아키텍처의 신규성은 제한적이고, 추후 더 큰 사전학습 모델과의 비교 및 다언어 확장 연구가 기대된다.

 *그림 1: 논문의 제목, 저자, 연도, 학술지, 초록을 기반으로 LLM이 생성한 참고문헌과 인간의 인용 패턴을 비교하는 실험 개요* 대규모 언어 모델(LLM)이 과학 논문의 참고문헌 생성 시 이미 인용도가 높은 논문들을 지속적으로 선호함으로써 인용의 마태 효과(Matthew effect)를 강화하며, 이는 학문 영역 간 편향의 차이에도 불구하고 일관되게 나타난다. 이러한 현상은 과학 지식의 발견과 확산 방식을 재형성할 가능성이 있다.

본 논문은 LLM이 과학 참고문헌 생성 시 체계적으로 마태 효과를 강화하며 인간의 인용 관행과 차이를 보인다는 중요한 발견을 대규모 실증 데이터로 제시하여, AI 도입이 과학적 지식 발견의 형태를 재편할 수 있음을 시사한다. 다만 순수 매개변수 지식 기반 평가라는 제한과 학문 영역 표본 편향을 고려할 때, 실제 운영 환경에서의 영향은 추가 검증이 필요하다.

 *Figure 2: The League framework for leaderboard automatic generation. In Stage 1, we automatically* League는 arXiv와 학술지에서 자동으로 논문을 수집하여 LLM 기반으로 실험 결과를 추출하고 통합함으로써 동적으로 리더보드를 자동 생성하는 프레임워크이다.

League는 급증하는 학술 논문에 대응하여 자동으로 최신 리더보드를 생성하는 혁신적 프레임워크이며, 실험 설정을 포함한 공정한 비교라는 새로운 관점을 제시한다. 인간 성능에 근접한 결과와 5-10배의 효율성 향상으로 실질적 가치를 입증하나, LLM 오류 처리 및 다분야 일반화 개선이 필요하다.

 *관련 업무 생성을 위한 인과 그래프. do-calculus를 적용하여 경로 c→x를 차단하고 허위 상관관계 c→x→y의 영향을 완화* 본 논문은 학술 논문의 관련 업무(Related Work) 섹션을 자동으로 생성하는 과정에서 인과 관계 이론을 도입하여, 문장 순서와 같은 허위 상관관계(spurious correlation)를 제거하고 문서 간 실제 의미 관계에 기반한 고품질 요약을 생성한다.

관련 업무 생성 분야에 인과 이론을 창의적으로 도입한 우수한 논문으로, 허위 상관관계 제거의 중요성을 체계적으로 다루었다. 다만 인과 모델의 단순성과 구현의 일부 휴리스틱 선택이 기술적 엄밀성을 다소 감소시킨다.

본 논문은 OpenReview.net과 SciPost.org에서 수집한 36,000개 이상의 과학논문과 89,000개 이상의 피어리뷰로 구성된 공개 피어리뷰 데이터셋(ORB: Open Review-Based dataset)을 소개한다. NLP 기반 자동 논문 평가 및 고에너지물리 실험 제안의 자동 심사를 지원하기 위한 포괄적인 데이터 인프라를 제공한다.

ORB 데이터셋은 오픈 피어리뷰 분야의 데이터 부족 문제를 크게 완화할 수 있는 중요한 자원이며, 특히 고에너지물리 실험 제안 자동 평가라는 구체적 응용을 지원한다는 점에서 가치가 있다. 다만 데이터 통합의 복잡성, NLP 실험의 기초적 수준, 플랫폼 의존성 등으로 인해 기술적 견고성에서 개선 여지가 있고, 대규모 실제 응용까지는 추가 연구가 필요하다. 오픈 사이언스 커뮤니티에 긍정적 기여를 할 수 있는 리소스이나, 개별 논문으로서의 기술적 혁신성은 제한적이다.

 *과학적 방법의 6단계와 각 단계의 LLM 응용 분야* 대규모 언어모델(LLM)이 과학 발견에서 단순한 작업 자동화 도구에서 자율적 에이전트로 진화하는 패러다임 변화를 체계적으로 분석한 종합 조사 논문이다. 과학적 방법론의 단계별 관점에서 LLM의 자율성 수준을 3단계 분류법으로 제시하며, 미래의 AI 기반 과학 발견의 방향을 제시한다.

LLM의 과학 발견 응용을 자율성 진화라는 새로운 관점에서 체계적으로 분석한 중요한 종합 논문으로, 학문 분야 간 통합적 이해를 제공하고 미래 연구 방향을 명확히 제시하나, 각 사례의 실제 과학적 유효성 검증과 윤리적 논의의 심화가 필요하다.

 *데이터 소스 및 LLMEval-Med의 인스턴스. 실제 임상 데이터와 공개 데이터셋에서 도출된 데이터를 의료 전문가들이 여러 차수의 정제를 통해 참고 답변, 프롬프트, 평가 체크리스트를 작성* 본 논문은 실제 전자의무기록(EHR)과 임상 시나리오에서 도출된 2,996개 문제로 구성된 종합적 의료 LLM 평가 벤치마크 LLMEval-Med를 제시한다. 의료 전문가 검증과 동적 평가 프레임워크를 통해 의료 AI 시스템의 안전하고 효과적인 배포를 위한 신뢰성 있는 평가 도구를 제공한다.

LLMEval-Med는 실제 임상 데이터 기반의 포괄적 벤치마크와 의료 전문가 검증을 통한 신뢰성 있는 평가 프레임워크를 제공함으로써 의료 LLM의 임상 배포를 위한 중요한 도구를 제시한다. 특히 윤리·안전성 평가 항목의 명시적 포함과 개방형 질문 중심의 설계는 기존 벤치마크의 공백을 의미 있게 메우나, 단일 언어권 범위와 자동화 평가의 복잡한 임상 판단에 대한 검증 강화가 후속 과제이다.

본 논문은 LLM(Large Language Models)을 이용한 학술지 논문 심사를 개선하기 위해, 인간 전문가의 심사 과정을 모방하는 다단계 구조화된 프레임워크 DeepReview를 제안한다. DeepReview-13K 데이터셋으로 훈련된 DeepReviewer-14B 모델은 기존 모델들(CycleReviewer-70B, GPT-o1, DeepSeek-R1)을 능가하면서도 더 적은 토큰을 사용한다.

DeepReview는 LLM 기반 논문 심사 시스템의 신뢰성과 효율성을 크게 향상시키는 구조화된 접근법을 제시하며, 대규모 공개 데이터셋과 모델을 통해 학술 커뮤니티에 즉시적 기여를 한다. 다만 다양한 학문 분야로의 일반화, 인간-AI 협력 효과의 실증적 검증, 기술적 세부 사항의 더욱 충실한 설명이 후속 과제로 남아있다.

대규모 언어모델(LLM)이 과학 연구를 요약할 때 원문보다 과도하게 광범위한 결론을 도출하는 체계적인 편향을 가지고 있으며, 이는 대규모 과학 오독의 위험을 초래한다. 10개의 주요 LLM을 대상으로 4,900개의 요약을 분석한 결과, LLM 요약이 인간 작성 요약보다 약 5배 더 높은 확률로 과도한 일반화를 포함했다.

이 논문은 LLM 기반 과학 요약의 과도 일반화 편향을 처음으로 대규모 실증적으로 입증한 중요한 연구이며, 특히 의료·공중보건 영역에서의 LLM 신뢰성에 대한 중대한 우려를 제기한다. 다만 일반화 타당성의 규범적 기준 부재, 완화 전략의 효과 검증 미흡, 인코딩 신뢰도 보고 부족 등이 기술적 강건성을 다소 제약하며, 추가 연구를 통한 보완이 필요하다.

 *그림 1: 학술 리뷰에 적용된 RSA 기반 점수의 예시. 공통 의견은 파란색, 고유한 의견은 빨간색으로 강조됨* 학술 동료 평가(peer review) 과정에서 영역 의장(area chair)이 다수의 리뷰를 효율적으로 처리하도록 돕기 위해, 합의(consensus)만이 아닌 공통점과 고유한 의견을 모두 추출하는 차별적 다중 문서 요약(discriminative multi-document summarization) 방법인 GLIMPSE를 제안한다.

동료 평가 과정의 효율성을 높이기 위해 언어 화행론의 이론을 창의적으로 적용한 실용적이고 참신한 연구로, 특히 피어 리뷰라는 구체적 도메인에서의 실증적 검증이 강점이다. 다만 실제 영역 의장의 의사결정에 미치는 영향에 대한 심화 평가와 대규모 도입 가능성 검토가 필요하다.

 *OpenReview 데이터 생성 과정(좌), 피어리뷰 규제, LLM 오픈-엔디드 작업 연구, 정렬 및 추론 후훈련을 지원하는 세 가지 주요 응용 분야(중), 연구 기회(우)* 대규모 언어모델(LLM) 시대에 OpenReview 플랫폼—논문, 리뷰, 저자 반박, 메타리뷰, 최종 결정을 포함한 구조화된 전문가 피드백 저장소—을 학술 공동체의 핵심 자산으로 보호하고 활용해야 함을 주장하는 입장 논문이다.

학술 공동체의 피어리뷰 데이터를 LLM 시대의 핵심 자산으로 재조명한 중요한 입장 논문이나, 윤리적 고려사항과 구현 세부사항이 보강되어야 완전한 실행 가능성을 확보할 수 있다. 특히 OpenReview 보호와 공동체적 관리 방식에 대한 구체적 제안이 후속 작업에서 필요하다.

본 논문은 피어 리뷰(peer review) 과정에서 저자들이 리뷰어의 의견을 더 잘 이해할 수 있도록 돕기 위해 SEAGraph라는 프레임워크를 제안한다. 의미론적 마인드 그래프(semantic mind graph)와 계층적 배경 그래프(hierarchical background graph)를 구성하여 리뷰 댓글의 숨겨진 의도를 파악하고 저자가 논문을 개선할 수 있도록 지원한다.

SEAGraph는 피어 리뷰 프로세스의 실질적 문제를 해결하기 위해 의미론적 마인드 그래프와 계층적 배경 그래프를 효과적으로 결합한 창의적인 프레임워크이나, 정량적 실험 결과와 실제 사용 사례를 통한 검증이 필요하다.

본 연구는 글로벌 의학 및 보건의료 관련 연구자 226명(59개국)을 대상으로 대규모 언어 모델(LLM)의 학술 출판 활용 현황, 인식도, 그리고 향후 영향에 대한 종합적 실태조사를 제시한다. LLM 인식도가 높은 연구자일수록 논문 발표 건수가 유의미하게 많았으나, 실제 사용 시에는 대다수가 이를 공개하지 않는 학술 윤리 문제를 드러낸다.

본 논문은 LLM 시대 학술 출판의 투명성과 윤리를 다룬 시의적절하고 광범위한 실태조사로, 특히 사용-공개 불일치 현상을 정량화하여 저널과 규제당국이 즉시 대응할 수 있는 근거를 제시한다. 다만 표본의 동질성과 응답률 한계, 단순 현상 기술에 그친 점은 보완이 필요하다.

과학 AI(AI4Science)의 준비 상태를 평가하기 위한 통합 벤치마킹 프레임워크로, 과학 데이터의 AI 준비도와 대규모 언어모델(LLM)의 과학 분야별 능력을 체계적으로 평가하는 종합 평가 체계를 제시한다.

SciHorizon은 AI4Science의 현재 준비 상태를 진단하기 위한 야심찬 통합 프레임워크로, 특히 과학적 가치 평가와 공개 플랫폼 제공을 통해 학계에 의미 있는 기여를 하고 있다. 다만 평가 방법론의 자동화, 전문가 편향 제어, 시간에 따른 동적 업데이트 메커니즘 강화가 필요하며, 프레임워크의 장기적 유효성 검증을 위한 후속 연구가 지속되어야 한다.

대규모 언어모델(LLM)이 생성한 임상 리뷰와 인간 저자의 리뷰를 체계적으로 비교한 결과, LLM이 빠르게 리뷰를 생성할 수 있지만 참고문헌 수가 적고, 논리적 일관성이 낮으며, 인용 정확도와 신뢰성이 부족함을 발견했다.

본 논문은 LLM 기반 임상 리뷰 생성의 현실적 한계를 최초로 체계적으로 규명한 귀중한 실증 연구로, 학술 출판 투명성과 윤리 강화의 시급함을 강조한다. 다만 예상된 결과의 확인 수준이며, 기술적 개선 방향보다는 문제 지적에 더 초점을 두어 실질적 해결책 제시는 부족하다.

 *Figure 1 depicts three major types of scien-* 260개 이상의 과학 분야 대규모 언어 모델(LLM)을 포괄적으로 조사하여 다양한 분야와 모달리티에서의 아키텍처, 사전학습 기법, 데이터셋, 평가 과제를 통합적으로 분석하고 과학 발견에의 응용을 제시한다.

이 논문은 과학 분야의 LLM 연구를 처음으로 통합적이고 체계적으로 조사한 중요한 참고 자료로, 260개 이상 모델의 아키텍처와 사전학습 기법을 3가지 프레임워크로 단순화하여 분야 간 연결성을 명확히 한다. 과학 발견의 실제 응용까지 다루어 실무적 가치가 높으나, 정량적 비교 분석과 다모달 상호작용의 깊이 있는 탐구가 추가되면 더욱 완성도 높은 조사가 될 수 있다.

 *Figure 1* PathChat는 병리학에 특화된 시각-언어 기반 생성형 AI 어시스턴트로, 조직병리 이미지와 자연어를 모두 이해하고 복잡한 병리학 관련 질의에 답변할 수 있다.

PathChat은 병리학 분야에 특화된 최초의 실용적 다중모달 생성형 AI 어시스턴트로, 대규모 도메인 특화 데이터 구축과 체계적인 평가를 통해 높은 임상적 가치를 시연한 획기적인 연구이다.

노르웨이의 11개 인문사회과학(SSH) 학술지가 2017년 구독 기반에서 오픈액세스로 전환한 후의 효과를 분석한 연구로, 전환 후 모든 저널에서 방문 수가 유의미하게 증가했으며 이는 기존 구독 기관이 아닌 다른 부문의 방문자 증가로 인한 것임을 밝혔다.

로컬 오픈액세스 저널 전환의 실제 효과를 실증하는 가치 있는 연구로, 특히 경제적으로 취약한 국가 학술 인프라 정책에 중요한 근거를 제공하지만, 일반화 가능성과 장기적 지속가능성 분석에서 더 확장된 연구가 필요하다.

본 연구는 12개의 주요 학술 검색 엔진 및 서지 데이터베이스(Academic Search Engines and Bibliographic Databases, ASEBDs)의 규모를 비교 분석한 최초의 포괄적 연구이다. 반복적 질의 최적화를 통해 Google Scholar의 규모가 약 3억 8,900만 건으로 이전 추정치보다 50% 이상 크다는 것을 발견했다.

본 논문은 Google Scholar을 포함한 주요 학술 검색 엔진의 규모를 처음으로 종합 비교한 중요한 경험적 연구이며, Google Scholar의 규모를 이전보다 대폭 상향 수정함으로써 학술정보 커뮤니티의 통념을 재정립하였다. 다만 Query Hit Count 방법론의 근본적 한계와 단일 시점 스냅샷의 제약이 있으므로, 향후 질적 지표 결합과 종단면 추적 연구로 보완될 필요가 있다.

본 논문은 대규모 언어모델(LLM)을 활용하여 원본 웹 코퍼스로부터 자동으로 새로운 사회과학 학술 가설을 발견하는 첫 번째 시스템을 제안한다. 기존의 제한된 폐쇄 도메인 환경과 상식 수준의 가설을 넘어, 개방 도메인 관찰로부터 학술 문헌에 존재하지 않는 혁신적이고 타당한 과학 가설 생성을 달성했다.

본 논문은 LLM을 활용한 자동 학술 가설 발견이라는 도전적이고 실질적인 문제를 제시하며, 개방 도메인 데이터로부터 신규이면서도 타당한 과학 가설을 생성할 수 있음을 최초로 실증했다. 다만 기술적 혁신성은 상대적으로 제한적이며, 실제 학술 적용을 위한 추가 검증과 개선이 필요하다.

AI4S(AI for Science) 시대에 대학 도서관의 연구지원 서비스(RSS)를 재정의하기 위해 체계적 문헌분석을 통해 21개의 서비스와 5개 주제로 구성된 개념 모델을 제시하는 연구이다.

이 논문은 AI4S 시대 대학 도서관의 역할 변화를 체계적으로 규명한 중요한 선행 연구로, 21개 서비스와 5개 주제로 구조화된 개념 모델은 도서관 정책 수립과 실무 개선의 이론적 기초를 제공한다. 다만 개념 모델의 실제 구현 타당성 검증과 다양한 맥락에서의 적용 가능성 확인을 위한 후속 실증 연구가 필수적이다.

 *Nature Index 저널에 게재된 AI 관련 연구의 출판 추세(2015-2024)와 로지스틱 성장 모델을 통한 예측(2050년까지 약 25%에 도달)* 본 논문은 과학 발견(scientific discovery)에서 AI 연구자의 잠재력이 여전히 미충분하게 활용되고 있다는 실증적 분석을 제시하며, AI4Science의 미래 확대를 위한 구조화된 전략과 실행 방안을 제안한다. Nature Index 저널 분석을 통해 AI 관련 연구가 지난 10년간 9배 증가했으나 실험 과학자(experimental scientists)가 주도하는 구조 속에서 AI 연구자의 직접적 역할이 제한적임을 보여준다.

본 논문은 대규모 실증 데이터와 이론적 틀을 결합하여 AI4Science의 현황을 분석하고, AI 연구자의 역할 확대를 위한 구조화된 전략을 제시함으로써 학문적·정책적 가치를 제공한다. 다만 저자 소속 기관의 단순 이진 분류 방식과 Nature Index 저널의 선별적 특성이라는 방법론적 제약이 있으며, 제안된 세 가지 방향의 구현 로드맵이 다소 개괄적일 수 있다. 그럼에도 불구하고 과학 생태계 내 AI 인재 활용의 시급성을 명확히 하고, 실행 가능한 개선 방향을 제시한 점에서 높은 가치를 지닌다.

Oxford University Press는 2024년 국제 오픈액세스 주간을 맞아 지난 1년간 오픈액세스(Open Access, OA) 출판 분야에서 달성한 진전 상황을 보고하며, 전체 학술지 출판물의 50% 이상이 OA로 출판되는 이정표를 달성했다.

본 보고서는 OUP의 오픈액세스 출판 전략의 성과를 종합적으로 제시하며, Read and Publish 협약 확대와 학술지 전환을 통한 체계적인 OA 확대가 연구의 접근성과 영향력을 동시에 향상시킨 점에서 의미가 있다. 다만 OA 확대 과정의 구체적 도전 과제와 지속가능성 논의가 보강된다면 학술 출판 정책 입안자들에게 더욱 유용한 자료가 될 수 있을 것이다.

 *그림 1: 고정밀 자기유사해(Self-similar solution) 발견을 위한 연구 방법론. (a) 해의 발견: PINN과 Gauss-Newton 최적화기를 이용한 다단계 학습으로 자기유사 스케일링 계수 λ를 찾음. (b) 해의 분석: 선형화된 PDE의 안정성 분석을 통해 불안정 모드 특성화.* 기계학습과 고정밀 수치해석을 결합하여 **3D 오일러 방정식, 비압축성 다공질 매질 방정식, Boussinesq 방정식에서 처음으로 불안정 특이점(unstable singularities)의 체계적인 발견**을 보여주는 연구이다. 불안정 특이점은 무한 정밀도의 초기조건이 필요하며, 미량의 교란으로도 폭발 궤적에서 벗어나는 특수한 현상으로, 이전에는 안정 특이점만 수치적으로 발견되었다.

불안정 특이점이라는 오랫동안 포착 불가능했던 수학적 현상을 고정밀 머신러닝과 수치해석의 결합으로 처음 발견하고 측정한 획기적 연구. 경계 조건 확장과 CAP 연계를 통해 밀레니엄 상 문제 해결의 구체적

 *그림 1: (a) 숨겨진 잠재 규칙의 예시, (b) 기존 벤치마크와의 비교, (c) DRE-Bench의 LLM 지능 리더보드* 본 논문은 대규모 언어모델(LLM)의 진정한 유동 지능(fluid intelligence)을 평가하기 위해 계층적 인지 프레임워크를 바탕으로 한 동적 추론 평가 벤치마크 **DRE-Bench**를 제안한다. 4가지 인지 수준(속성, 공간, 순차, 개념)의 36개 추상 추론 과제와 복잡도 변화를 포함한 약 4,000개의 사례를 통해 LLM의 규칙 일반화 능력을 체계적으로 측정한다.

본 논문은 LLM의 진정한 유동 지능 평가를 위해 인지 심리학 기반의 계층적 구조와 동적 데이터 생성 엔진을 결합한 혁신적인 벤치마크를 제시한다. 광범위한 모델 평가를 통해 현재 LLM의 근본적인 한계를 명확히 규명했으며, 이는 향후 추론 능력 강화 연구의 객관적 기준점이 될 것으로 기대된다. 다만 평가 범위의 확장성과 실패 원인 분석의 깊이 측면에서 추가 개선의 여지가 있다.

 *차트-to-코드 생성 작업의 예시로, 실행 가능성(Executability), 시각적 충실도(Visual Fidelity), 속성 정확도(Attributes Correctness) 등 다중 차원으로 평가됨* 차트 이미지를 실행 가능한 플로팅 코드로 변환하는 차트-to-코드 생성 작업에서, 다중모달 대규모 언어 모델(MLLM)의 성능을 향상시키기 위해 이중 모드(code + image) 보상 메커니즘과 반복적 선호도 학습을 결합한 프레임워크를 제시한다.

차트-to-코드 생성의 본질적 이중성(코드 정확성 + 시각적 충실도)을 직접 반영한 이중 보상 메커니즘과 반복적 선호도 학습의 결합이 효과적이며, 범용 MLLM의 실질적 향상을 달성한 점이 주목할 만함. 다만 보상 함수의 휴리스틱 성격과 도메인 확장성에 대한 추가 검증이 필요함.

 *"Paper-to-Code" (P2C) 작업의 개요: 학술 논문의 다중모달 콘텐츠(텍스트, 이미지, 표)를 처리하여 완전히 실행 가능한 코드 저장소와 설명 다이어그램 생성* 학술 논문의 텍스트, 다이어그램, 표 등 다중모달 콘텐츠를 자동으로 처리하여 완전히 실행 가능한 코드 저장소를 생성하는 혁신적인 다중에이전트 LLM 프레임워크를 제시한다. 이는 기존의 단순 코드 스니펫 생성을 넘어 연구 논문 구현의 전체 자동화를 목표로 한다.

AutoP2C는 학술 논문의 자동 코드화라는 실제적이고 중요한 문제를 다중모달 이해와 다중에이전트 협력으로 효과적으로 해결한 혁신적 연구이다. 기존 방법 대비 8배 우월한 성공률은 실무적 가치를 입증하나, 벤치마크 규모 확대와 복잡한 시나리오에 대한 검증이 필요하며, 반복적 디버깅 메커니즘의 이론적 보장도 강화되어야 한다.

 *CASSIA의 다중 에이전트 LLM 시스템 구조. 온보딩 플랫폼을 통해 사용자 입력을 받고, Annotator, Validator, Formatter, Scorer, Reporter 에이전트가 순차적으로 작동하며, 선택적 에이전트들(Subclustering, Uncertainty Quantification, RAG)도 활용 가능* CASSIA는 단일세포 RNA-seq 데이터의 자동화된 세포주석(cell annotation)을 위한 다중 에이전트 대규모 언어모델(LLM) 시스템으로, 기존 방법보다 12-41% 높은 정확도를 달성하면서 해석 가능한 품질 점수와 불확실성 정량화를 제공한다.

CASSIA는 다중 에이전트 LLM 시스템을 통해 세포주석의 정확도, 해석 가능성, 품질 평가를 동시에 달성한 혁신적 방법으로, 특히 복잡한 세포 집단과 비모델 생물종 분석에서 실질적 가치를 입증했으나, peer review 전 상태이고 계산 효율성 및 기술적 세부 사항에 대한 추가 검증이 필요하다.

과학 데이터 파이프라인을 위한 운영 엄격성(operational rigor)이 AI 에이전트와 인간 협업의 성공을 결정하므로, DataJoint 2.0은 관계형 워크플로우 모델을 통해 데이터 구조, 계산 의존성, 무결성 제약을 단일 형식 시스템으로 통합하여 SciOps(과학 운영)의 기반을 제공한다.

DataJoint 2.0은 과학 데이터 관리와 AI 에이전트 협업의 근본적 문제를 관계형 패러다임의 창의적 확장으로 해결하는 충실한 논문이며, SciOps 개념 도입은 학제적 중요성이 높으나 실제 시스템의 대규모 검증과 AI 자동화 메커니즘의 심화가 필요하다.

 *프레임워크는 대칭 불변량(symmetry invariants)을 사용하여 방정식 발견에서 대칭성을 강제한다. 원형 영역에서의 예측 함수는 불변량 사용 시 대칭 출력을 보장함을 시각화한다.* 데이터로부터 미분방정식을 발견할 때 물리법칙을 위반하는 복잡한 해를 얻는 문제를 해결하기 위해, 대칭 불변량(differential invariants)을 기본 단위로 사용하여 방정식 발견 알고리즘을 제약하는 일반적 프레임워크를 제안한다.

본 논문은 대칭 불변량이라는 우아한 수학적 개념을 기호 회귀에 적용하여 물리적으로 타당한 방정식 발견을 효율적으로 달성하는 창의적인 방법을 제시하며, 다양한 기본 알고리즘과의 호환성과 실제 노이즈 조건에서의 강건성이 돋보인다. 다만 Lie 군 이론의 사전 지식 요구와 고차 미분 시스템에서의 확장성이 향후 개선 과제이다.

 *Figure 2: Multimodal DeepResearcher의 프레임워크 - 4단계(조사, 예시 보고서 텍스트화, 계획, 멀티모달 보고서 생성)로 분해* 본 논문은 대규모 언어 모델(LLM)을 활용하여 텍스트와 차트가 유기적으로 통합된 멀티모달 보고서를 자동으로 생성하는 시스템을 제안한다. 핵심 혁신은 시각화를 구조화된 텍스트 표현(FDV: Formal Description of Visualization)으로 변환하여 LLM의 맥락 학습(in-context learning)을 가능하게 한 점이다.

본 논문은 LLM 기반 멀티모달 보고서 자동 생성이라는 중요한 미충족 문제를 처음 체계적으로 다루었으며, FDV라는 창의적인 표현 방식과 4단계 에이전틱 프레임워크로 강력한 성능(82% 승률)을 달성했다. 다만 평가 데이터의 규모 확장과 더 다양한 모델에 대한 검증이 필요하다.

 *SciCUEval은 5개 과학 도메인, 3가지 데이터 모달리티, 4가지 질문 유형을 포함하는 포괄적 벤치마크* 본 논문은 대규모 언어모델(LLM)의 과학적 맥락 이해 능력을 평가하기 위한 포괄적 벤치마크 데이터셋 SciCUEval을 제안한다. 생물학, 화학, 물리학, 생의학, 재료과학 등 5개 도메인에 걸친 10개의 부분 데이터셋으로 구성되며, 비정형 텍스트, 구조화된 표, 지식 그래프 등 다양한 데이터 모달리티를 통합하여 LLM의 과학적 맥락 이해 능력을 체계적으로 평가한다.

SciCUEval은 과학 도메인 LLM 평가의 중요한 공백을 체계적으로 해결하는 포괄적 벤치마크로, 다중 도메인-다중 모달리티 조합과 4가지 핵심 역량 평가 프레임워크는 매우 우수하다. 다만 데이터 생성 방법론의 투명성 강화, 멀티모달 처리에 대한 명확한 전략 제시, 그리고 벤치마크 활용을 통한 실제 과학 LLM 개선 효과 입증이 필요하다.

 *그림 1: (a) 일반적 추론, (b) Chain-of-Table, (c) 제안된 Tree-of-Table 방법의 비교. Tree-of-Table은 대규모 관계형 테이블에 대해 계층적이고 구조화된 추론 프로세스를 통해 우수한 성능을 보여줌* 대규모 테이블 이해를 위해 테이블 응축 및 분해를 통해 관련 정보를 추출한 후, 계층적 Table-Tree를 구성하여 트리 구조 추론을 수행하는 새로운 방법론을 제시한다. 이는 기존의 선형 체인 기반 방식의 한계를 극복하고 복잡한 다중 테이블 관계를 효과적으로 처리한다.

Tree-of-Table은 대규모 테이블 이해라는 중요한 실무 문제에 대해 트리 구조 추론을 통한 창의적인 해결책을 제시하며, 다양한 벤치마크에서 입증된 성능으로 충분한 기여가 있다. 다만 구체적인 알고리즘 설명과 계산 비용 분석이 보강되면 더욱 완성도 높은 연구가 될 것으로 판단된다.

 *그림 1: 인간의 메타-리뷰 작성에서 "빠른 사고"와 "느린 사고" 과정* 학술 동료심사 시스템의 메타-리뷰(종합의견) 자동생성을 위해 Kahneman의 이원인지이론(dual-process theory)을 LLM에 적용한 인지정렬프레임워크(CAF)를 제안하며, 기존 LLM 방식의 앵커링 효과(anchoring effect)와 동조편향(conformity bias)을 정량화하고 완화한다.

사회심리학의 이원인지이론을 학술 메타-리뷰 생성이라는 실무적 과제에 창의적으로 접목하고, 기존 LLM의 앵커링·동조편향을 최초로 정량화한 의미 있는 연구이나, 평가 규모 확대와 갈등 판정 기준의 수학적 정교화가 필요하다.

 *Figure 1: Flowchart of a deep subgrouping framework for* STEDR은 환자 하위군의 이질적 치료 반응을 고려하여 실제 환자 데이터에서 임상시험을 모의실험하고 정밀 약물 재창출(precision drug repurposing)을 수행하는 딥러닝 프레임워크이다.

STEDR은 약물 재창출 분야에 정밀 의약학 관점의 하위군 분석을 처음 통합하여 새로운 문제 정의를 제시하며, 이중 수준 주의와 VAE 기반 하위군 네트워크로 기술적 혁신을 이루었다. 800만+ 환자 대규모 데이터에서 14개 AD 약물 후보를 발굴하고 임상적 해석성을 확보한 점에서 강한 실무 가치를 보유하나, 관찰 데이터의 편향 문제와 다질환군 일반화 검증이 후속 과제이다.

 *Figure 1. Overview of a foundation model in chemistry for property prediction, machine learning interatomic potentials, * 화학 분야에서 대규모 사전학습 모델(Foundation Models)의 발전 현황을 검토하는 관점 논문으로, 분자 특성 예측, 기계학습 상호작용 포텐셜(MLIP), 역설계 등 다양한 화학 문제 해결에 파운데이션 모델의 적용 가능성을 종합적으로 분석한다.

본 관점 논문은 화학 분야의 파운데이션 모델 연구를 체계적으로 정리한 종합 검토로, 단일 도메인과 다중 도메인 모델의 명확한 구분, 네 가지 응용 영역별 상세 분석, 화학-특화 사전학습 기법 종합을 통해 학계와 산업계에 실질적 가이드를 제공한다. 다만 기술적 심화나 새로운 알고리즘 개발보다는 현황 정리에 중점을 두고 있으며, 향후 다중 도메인 통합 모델 개발과 물리적 제약 조건 통합이 주요 과제로 제시된다.

 *TrendFact의 수치 추론을 포함하는 사실 검증 예제: 故宮(자금성)의 나이에 관한 주장과 검증 과정* 본 논문은 중국어 기반의 첫 번째 포괄적 사실 검증 벤치마크인 **TrendFact**를 제시하며, 설명 생성 일관성(ECS)과 핫스팟 인식 능력(HPA)을 평가하는 새로운 메트릭을 도입한다. 추가적으로 동적 증거 증강과 영향도 점수 기반 반복적 자기 성찰을 결합한 **FactISR** 프레임워크를 제안하여 대형 언어 모델의 사실 검증 성능을 향상시킨다.

TrendFact 벤치마크는 중국어 기반 사실 검증에서 설명 생성과 고영향도 사건 처리 능력 평가라는 새로운 차원을 추가하여 의미 있는 기여를 하지만, 제안된 FactISR 방법의 이론적 깊이가 부족하고 영어 기반 연구 커뮤니티와의 연계성이 제한적이라는 점은 개선이 필요하다.

 *LLM 에이전트들이 네트워크 구조로 조직되어 이웃 에이전트들과 이야기를 교환하며, 각 에이전트는 특정 성격과 프롬프트를 통해 이전 세대의 이야기들을 변환하여 새로운 이야기를 생성한다.* 이 논문은 대규모 언어모델(LLM) 인구에서 문화진화를 시뮬레이션하는 프레임워크를 제안하며, 네트워크 구조, 성격, 정보 변환 방식 등 문화진화의 주요 변수들을 조작하면서 기계가 생성하는 문화의 역학을 탐구한다.

이 논문은 문화진화 이론과 생성AI라는 두 분야를 창의적으로 연결하여 기계문화 시대의 새로운 연구 방향을 제시하는 의미 있는 작업이나, 실험적 검증과 대규모 시뮬레이션을 통한 심화가 필요하다.

 *과학적 텍스트-이미지 생성의 예시. 일반 이미지(좌측)와 달리 과학 이미지는 정확한 공간 배치, 수치 표현, 객체 속성의 정확성을 요구한다.* 본 논문은 멀티모달 대규모 언어모델(LLM)의 과학적 이미지 생성 능력을 평가하기 위한 ScImage 벤치마크를 제시한다. 5가지 모델(GPT-4o, Llama, AutomaTikZ, DALL-E, StableDiffusion)을 공간(spatial), 수치(numeric), 속성(attribute) 이해 차원에서 평가한 결과, 모든 모델이 특히 복합 프롬프트에서 상당한 어려움을 겪는 것으로 나타났다.

본 논문은 과학 이미지 생성이라는 중요하면서도 미탐색된 영역에 처음으로 체계적이고 광범위한 벤치마크를 제시한 점에서 가치있는 기여이다. 특히 현재의 멀티모달 LLM들이 복잡한 과학 이미지 생성에서 여전히 상당한 어려움을 겪고 있음을 명확히 보여줌으로써, 향후 연구의 방향성을 제시한다는 점에서 의미있다. 다만 인간 평가 규모 확대와 더 광범위한 과학 도메인 포함을 통한 벤치마크 보강이 필요할 것으로 보인다.

 *LitLLM 인터페이스: 사용자 제공 초록을 기반으로 Retrieval Augmented Generation(RAG) 원칙을 적용하여 문헌 리뷰를 생성하는 시스템* LitLLM은 대규모 언어모델(LLM)과 검색 증강 생성(RAG) 기술을 결합하여 과학 논문의 관련 연구(Related Work) 섹션 작성을 자동화하는 대화형 도구이다. 시스템은 사용자 제공 초록으로부터 키워드 추출, 논문 검색 및 재순위화, 문헌 리뷰 생성의 모듈화된 파이프라인을 통해 환각(hallucination) 문제를 해결한다.

LitLLM은 과학 문헌 리뷰 작성을 위한 실용적이고 잘 설계된 도구로, RAG 원칙을 통해 LLM의 환각 문제를 효과적으로 해결하고 모듈화된 파이프라인으로 체계적인 접근을 제시한다. 다만 개별 모듈의 성능 평가(특히 재순위화 정확도)와 생성 결과의 품질 검증이 부재하여, 학술적 엄밀성과 실제 유용성을 입증하기 위해서는 정량적 평가 및 사용자 연구가 필요하다.

LLM 기반 AI 연구 에이전트의 종합적 성능을 평가하기 위해, 최신 머신러닝 논문에서 추출한 20개의 다양한 작업으로 구성된 표준화된 벤치마크 AIRS-Bench를 제시한다. 본 벤치마크는 아이디어 생성부터 실험 분석 및 반복적 개선에 이르는 완전한 연구 생명주기를 평가하며, 현재 프론티어 LLM 모델들은 4개 작업에서만 인간 수준의 최고 성능(SOTA)을 초과하고 대부분의 작업에서 여전히 개선 여지가 있음을 보여준다.

 *그림 1: 원핵생물 생명에 걸친 게놈 파운데이션 모델 사전학습. (A) 단일 뉴클레오타이드 해상도의 게놈 수열 모델은 규제 DNA 및 중심 원리의 다른 양식(단백질, 코딩 RNA, 논코딩 RNA) 내의 모든 정보를 학습할 수 있음. (B) StripedHyena는 장문 수열용 심층 신호 처리 아키텍처. (C) 박테리아 및 바이러스 게놈으로 사전학습된 70억 파라미터 Evo 모델.* Evo는 131 킬로베이스(kb) 문맥 길이를 가진 70억 파라미터 게놈 파운데이션 모델로, 단일 뉴클레오타이드 해상도에서 분자 규모부터 전체 게놈 규모까지 DNA 수열의 예측 및 생성을 가능하게 한다. StripedHyena 아키텍처를 기반으로 하여 기존 방법보다 수백 배 긴 650 kb 길이의 코딩 수열을 생성할 수 있다.

Evo는 깊은 신호 처리 기반 아키텍처를 활용하여 DNA 수열 모델링의 확장성 문제를 혁신적으로 해결하고, 최초로 다중-양식·다중-스케일의 통합 게놈 파운데이션 모델을 제시함으로써 합성생물학과 게놈 공학 분야에 패러다임 전환을 기대하게 한다. 다만 생성 수열의 생물학적 타당성 검증과 진핵생물으로의 확장이 향후 실용화의 핵심 과제이다.

자기 진화하는 LLM 에이전트의 합성에 형식적 안전성 보증을 제공하는 프레임워크이다. FGGM(Formally Guarded Generative Models)을 통해 각 모델 호출에 형식적 계약을 지정하고, 검증-학습 단계를 분리하여 제약 조건 위반 없이 성능 개선을 달성한다.

SEVerA는 자기 진화 LLM 에이전트에 형식적 안전성을 부여하는 선도적 작업으로, FGGM이라는 우아한 추상화와 Sound한 이론적 기초를 제공한다. 실험 결과도 제약 조건이 단순한 안전장치를 넘어 합성 품질을 향상시킴을 보여주는 점에서 의미 있으나, 검증 가능 언어 의존성과 계약 표현의 한계가 일반화 가능성을 제약한다.

 *CodePDE의 5단계 파이프라인: 작업 명세 → 코드 생성 → 디버깅 → 평가 → 해결자 개선* **핵심**: PDE(편미분방정식) 해석을 코드 생성 문제로 재정의하고, LLM(대형언어모델)의 추론 시간 알고리즘과 스케일링 전략을 활용하여 자동으로 수치 해석 솔버를 생성하는 첫 번째 프레임워크. 디버깅, 자체 개선, 테스트 타임 스케일링 메커니즘을 통해 단순 프롬프팅 대비 성능을 크게 향상시킴.

CodePDE는 대형언어모델이 과학 컴퓨팅, 특히 PDE 해석 분야에서 어떤 기여를 할 수 있는지를 체계적으로 탐색한 의미 있는 연구. 자동 디버깅과 반복 개선이 LLM 기반 솔버 생성의 핵심 성공 요인임을 실증적으로 입증했고, 다양한 모델 간 특성 차이를 분석한 점이 주요 기여. 다만 고차원, 극도로 복잡한 PDE, 물리 제약 조건 명시 등에서의 확장성 검증이 필요하며, 전통적 수치 해석 소프트웨어와의 실무 수준 비교 심화가 향후 과제. 학술적 가치와 실용성을 모두 갖춘 중요한 논문.

Evo는 131 kilobase의 매우 긴 문맥길이(context length)를 가진 70억 파라미터의 게놈 기초 모델(genomic foundation model)로, 단일 뉴클레오타이드 해상도에서 DNA 서열을 예측하고 생성할 수 있다. StripedHyena 아키텍처를 기반으로 270만 개의 원핵생물 및 박테리오파지 게놈으로 학습하여 분자 규모에서 게놈 규모까지 다양한 생물학적 예측 및 생성 작업을 수행한다.

Evo는 게놈 수준의 장문맥 시퀀스 모델링과 생성에서 획기적인 진전을 이루었으며, DNA 스케일링 법칙 제시와 다중 분자 복합체 생성 능력은 합성생물학 분야에 새로운 가능성을 열었다. 다만 생성된 서열의 실생물 검증과 더 광범위한 생물체로의 확장이 필요하다.

 *화학 분야 LLM 개발을 위한 일반 영역 LLM에 화학 도메인 지식을 통합하는 개념도* 화학 분야의 다양한 작업을 처리할 수 있는 대규모 언어 모델 ChemDFM을 개발했으며, GPT-4를 능가하는 성능을 달성하면서도 화학 분야의 자유로운 대화형 AI 조수 역할을 수행할 수 있다.

ChemDFM은 화학 분야의 LLM 개발에 있어 중요한 이정표를 세우며, 광범위한 화학 지식 통합과 우수한 실증 성능을 통해 AI 화학자의 실현 가능성을 보여준다. 다만, 분자 표현의 다양성 확대와 멀티모달 확장 등의 후속 개선이 필요하다.

본 논문은 대규모 언어모델(LLM)이 Boden의 조합적 창의성(combinatorial creativity) 이론에 기반하여 과학 아이디어를 생성할 수 있음을 보여준다. 일반화 수준의 검색 시스템과 구조화된 조합 프로세스를 통해 LLM이 이론적으로 근거 있는 창의적 아이디어 생성을 실현할 수 있음을 실증한다.

본 논문은 LLM 기반 아이디어 생성에 창의성 이론을 의도적으로 적용한 점에서 이론과 실제의 간극을 좁히는 의미 있는 기여를 하고 있으나, 평가 방법론의 제약과 실제 과학적 임팩트 검증 부족이 한계이다. 향후 다중 도메인 검증과 미래 가치 판단 메커니즘의 개발이 논문의 영향력을 더욱 높일 수 있을 것으로 예상된다.

 *좌측: 다른 최신 기법들과의 성능 비교. 우측: 반복 단계별 생성된 고유한 새로운 아이디어의 수 증가 추이* LLM의 연구 아이디어 생성 능력을 향상시키기 위해 반복적인 계획 수립과 지식 검색을 결합한 Nova 프레임워크를 제안한다. 이 방법은 기존 접근법 대비 새로운 아이디어 생성을 3.4배, 상위 평가 아이디어를 2.5배 이상 증가시킨다.

Nova는 반복적 계획과 목표 지향적 지식 검색을 결합하여 LLM 기반 아이디어 생성의 새로움과 다양성을 크게 향상시키는 실질적으로 효과적인 방법론이다. 다만 평가 범위의 제한, 계산 비용, 그리고 타 분야에서의 일반화 가능성 검증이 필요하다.

 *LLM-ODE의 개요: (1) 관찰된 궤적 데이터를 상태변수로 분해, (2) LLM이 진화 연산자로 작용하여 기호 방정식 모집단 진화 유도, (3) 방정식 수준 파레토 프론트의 카르테시안 곱에서 최종 시스템 선택* 본 논문은 대규모 언어모델(LLM)을 유전 프로그래밍(GP)에 통합하여 동역학 시스템의 지배 방정식 발견을 가속화하는 LLM-ODE 프레임워크를 제안한다. 기호 표현의 광대한 탐색 공간을 효율적으로 탐색하기 위해 LLM의 생성 능력을 진화 연산자로 활용한다.

LLM-ODE는 대규모 언어모델의 생성 능력을 유전 프로그래밍의 진화 연산자로 창의적으로 활용하여 기호 회귀의 효율성과 확장성을 실질적으로 개선한 강력한 작업이다. 다만 이론적 분석 강화, 실제 데이터 검증, 계산 비용 평가를 통해 실용적 영향력을 더욱 입증할 필요가 있다.

 *다중 라이브러리 코드 디버깅의 예시: (a) 단순 정적 버그 vs (b) 라이브러리 간 변수 적응 문제* 본 논문은 실제 소프트웨어 개발 환경에서 흔히 나타나는 **다중 라이브러리 시나리오에서의 코드 디버깅**을 체계적으로 평가하기 위한 MLDebugging 벤치마크를 제시한다. 126개의 Python 라이브러리를 포함하고 7가지 버그 유형으로 분류된 1,175개의 샘플로 구성되어 있다.

MLDebugging은 코드 디버깅 연구의 중요한 공백인 다중 라이브러리 시나리오를 처음으로 체계적으로 다루는 실질적인 기여를 한다. 엄격한 데이터 수집 및 품질 관리 프로세스와 포괄적인 LLM 평가를 통해 이 분야의 토대를 마련했으나, 언어 제한, 샘플 규모, 버그 현실성 검증 측면에서 개선 여지가 있다.

 *scAgent의 전체 프레임워크: (a) 다양한 사용자 쿼리에 대응하는 능력, (b) 계획 모듈의 구조, (c) 행동 공간의 구성, (d) 메모리 모듈의 정보* 대규모 언어 모델(LLM) 기반 에이전트를 활용한 범용 단일세포 주석(cell annotation) 프레임워크로, 조직 간 일반화, 신규 세포 타입 발견, 데이터 효율성을 동시에 달성한다. scAgent는 160개 세포 타입과 35개 조직에서 우수한 성능을 보여준다.

scAgent는 LLM 기반 에이전트 아키텍처와 MoE-LoRA 플러그인을 결합하여 범용 세포 주석의 세 가지 과제(일반화, 신규 발견, 확장성)를 동시에 해결한 혁신적 접근법으로, 광범위한 실험적 검증을 통해 우수한 성능을 입증했다. 다만 LLM 계산 비용과 신규 세포 판별 기준의 생물학적 엄밀성에 대한 보완이 필요하다.

 *LEO 프레임워크의 구조적 개요* 대규모 언어모델(LLM)의 추론 능력을 활용하여 블랙박스 최적화 문제를 해결하는 LEO(Language-model-based Evolutionary Optimizer)라는 새로운 인구 기반 최적화 방법을 제안한다. 엘리티즘 기반의 탐색(exploration)과 개발(exploitation) 전략을 통해 LLM의 환각 현상을 완화하면서도 우수한 최적화 성능을 달성한다.

본 논문은 LLM의 추론 능력을 체계적으로 최적화에 적용하려는 의미 있는 시도이며, 탐색-개발 이중 풀 구조를 통해 LLM 기반 최적화의 조기 수렴 문제를 실증적으로 해결한 점이 주요 기여이다. 다만 계산 비용, 신뢰성 평가 기준의 정량화, 다양한 LLM에 대한 검증 부족 등으로 인해 실무 적용 및 이론적 완성도에서 개선 여지가 있으며, 기존 최적화 방법 대비 명확한 우위 입증이 미흡하다.

 *신뢰성 향상이 능력 향상보다 뒤처짐. 정확도는 꾸준히 상승하지만 신뢰성은 미미한 개선만 보임* AI 에이전트(agents)의 실제 배포 환경에서 높은 정확도에도 불구하고 신뢰성 부족이 심각한 문제임을 보여주며, 안전-임계 엔지니어링(safety-critical engineering)의 원칙을 기반으로 일관성, 견고성, 예측가능성, 안전성의 4가지 차원으로 분해한 신뢰성 평가 메트릭 12개를 제시한다.

이 논문은 AI 에이전트 평가의 근본적인 격차를 정확히 진단하고, 안전-임계 엔지니어링의 검증된 원칙을 적용하여 신뢰성의 다차원 프레임워크를 제시함으로써 이론과 실무 간의 괴리를 해소하는 데 중요한 기여를 한다. 특히 대규모 모델들의 실증적 신뢰성 프로필을 최초로 제공하고 정확도-신뢰성 괴리의 정량화는 향후 에이전트 개발의 우선순위 설정에 중요한 지침이 될 것으로 예상된다.

 *논문의 구조: LLM 벤치마크부터 AI 에이전트 프로토콜까지 포괄적 범주화* 본 논문은 2019년부터 2025년까지 개발된 약 60개의 LLM 및 자율 AI 에이전트(Autonomous AI Agents) 벤치마크를 체계적으로 통합하고, 2023-2025년 주요 에이전트 프레임워크와 실제 응용 사례를 종합적으로 리뷰한다. 특히 다중 에이전트 협력 프로토콜(Agent Communication Protocol, Model Context Protocol, Agent-to-Agent Protocol)을 조사하며 미래 연구 방향을 제시한다.

본 논문은 LLM과 자율 AI 에이전트 분야의 빠른 기술 발전으로 인한 단편화 문제를 체계적인 분류체계, 종합적 비교 분석, 다양한 응용 사례를 통해 효과적으로 통합하는 중요한 리뷰 논문이다. 특히 다중 에이전트 협력 프로토콜 분석과 구체적 미래 연구 방향 제시가 학계와 산업계에 실질적 가치를 제공하나, 일부 전문 분야(보안, 멀티 에이전트 실패 분석)에서는 더욱 심화된 분석이 필요하다.

대규모 언어 모델(LLM)들은 외부 피드백 없이 자신의 추론 오류를 자동으로 수정하지 못하며, 오히려 자기 수정(self-correction) 후 성능이 저하된다는 것을 실증적으로 증명한다.

이 논문은 LLM의 자기 수정 능력에 대한 기존 낙관적 주장들을 체계적으로 비판하고 실제 한계를 입증함으로써, 이 분야의 평가 기준을 높이고 향후 연구 방향을 재설정하는 중요한 기여를 한다. 특히 외부 피드백 없는 실제 조건에서의 성능 평가는 실용적 가치가 높다.

본 논문은 대규모 언어모델(Large Language Models, LLMs)의 신뢰성을 종합적으로 평가하기 위한 원칙 기반의 벤치마크 **TrustLLM**을 제시한다. 진실성, 안전성, 공정성, 견고성, 프라이버시, 기계윤리 등 6가지 핵심 차원에서 16개 주요 LLM을 평가하여 신뢰성의 다층적 특성을 규명한다.

본 논문은 LLM 신뢰성에 대한 최초의 포괄적이고 원칙 기반의 벤치마크를 제시하여, AI 안전성과 신뢰성 연구에 중대한 기여를 한다. 8개 차원에 걸친 체계적 평가와 16개 모델에 대한 대규모 실증 연구는 큰 의미가 있으나, 평가 메트릭의 일부 주관성과 문화적 다양성 부족이 개선 과제이다. 오픈 액세스 제공으로 커뮤니티 기여 활성화 가능성이 높다.

 *HybridQA 과제의 종합 요약* 테이블과 텍스트 혼합 질의응답(Table-and-Text Hybrid Question Answering, HybridQA)은 이질적 데이터를 결합하여 답변을 생성하는 도전적인 NLP 과제이며, 본 논문은 현재까지의 벤치마크, 방법론, 핵심 과제, 향후 방향을 체계적으로 정리한 최초의 포괄적 설문이다.

HybridQA 분야의 첫 포괄적 설문으로서 벤치마크·방법론·과제를 체계적으로 정리한 의미 있는 기여이나, 초기 LLM 시대의 급속한 방법론 발전을 충분히 반영하지 못한 점과 산업 적용 관점의 분석이 미흡한 것이 아쉬운 점이다.

 *그림 1: LLM 리뷰 평가를 위한 포커스 레벨 평가 프레임워크. 사전정의된 패싯(facet)을 기반으로 포커스 분포를 계산하고 인간 리뷰어와 비교* 본 논문은 LLM이 생성한 학술지 리뷰의 신뢰성을 평가하기 위해 **포커스 레벨 평가 프레임워크**를 제안한다. 기존 표면적/내용적 평가와 달리, 리뷰가 문제점(problem), 방법(method), 실험(experiment) 등 다양한 측면을 얼마나 균형있게 다루는지를 분석하여 LLM 리뷰의 맹점(blind spots)을 체계적으로 드러낸다.

본 논문은 LLM 생성 리뷰의 평가에 새로운 관점(포커스 레벨)을 도입하여 기존 평가의 맹점을 보완하고, 대규모 벤치마크 데이터셋을 공개함으로써 학술 출판의 질 향상에 실질적 기여를 한다. 다만 원인 규명과 개선 방법론이 후속 연구로 남겨있으며, 다른 분야로의 확장성 검증이 필요하다.

 *L-CiteEval 벤치마크의 작업 형식 및 파이프라인: 장문 맥락이 주어졌을 때 모델이 답변과 함께 인용(citation)을 생성하도록 요구* 장문맥 언어모델(Long-Context Models, LCMs)이 실제로 주어진 맥락을 활용하여 응답하는지 평가하는 종합 벤치마크 L-CiteEval을 제시하며, 자동화된 평가를 통해 모델의 생성 품질뿐 아니라 인용 정확도(citation accuracy)를 동시에 측정한다.

L-CiteEval은 LCM의 맥락 활용도를 자동화된 방식으로 평가하는 첫 대규모 벤치마크로서, 개폐형 모델 간의 현저한 차이를 정량적으로 입증했다는 점에서 중요한 기여를 한다. 다만 인용 청크 크기 설정, 인간 평가 검증, 작업 다양성 확대 측면에서 개선의 여지가 있으며, 자동 메트릭의 신뢰성 강화와 모델 개선 기법 개발이 향후 과제이다.

 *그림 1: LLM 리뷰 평가를 위한 포커스 레벨 평가 프레임워크. 사전정의된 facet을 기반으로 포커스 분포를 계산하고 인간 리뷰와 비교* 본 논문은 LLM이 생성한 논문 리뷰가 인간 전문가와 동일한 비판적 측면(강점과 약점)에 주목하는지 평가하기 위한 **포커스 레벨 평가 프레임워크**를 제안한다. LLM 리뷰의 기술적 타당성 편향과 참신성 평가 간과라는 맹점을 정량적으로 드러낸다.

본 논문은 피어 리뷰라는 사회적 중요성 높은 영역에서 LLM 리뷰의 포커스 분포 분석을 통해 체계적이고 해석 가능한 평가 프레임워크를 제공하며, 실제 데이터셋 공개와 함께 재현 가능성을 확보했다. 다만 다른 학문분야 일반화, 포커스 편향과 실제 리뷰 품질 저하 간의 인과성 입증, 그리고 개선된 LLM 학습 기법 제안으로의 발전이 필요하다.

 *Figure 1: LLM 계획 수립의 분류체계 - 6가지 핵심 성능 기준과 대표 기법들의 매핑* 본 논문은 대규모 언어 모델(LLM)의 계획 수립(Planning) 능력에 대한 포괄적 조사 연구로, 초기 AI 계획 시스템의 평가 기준을 현대화하여 6가지 핵심 성능 지표를 통해 LLM 기반 계획 수립 시스템을 체계적으로 분석한다. 이를 통해 다양한 도메인에서 LLM 계획 시스템의 비교 평가 틀을 제공하고 향후 연구 방향을 제시한다.

본 논문은 LLM 계획 수립 분야의 현황을 포괄적으로 정리한 중요한 조사 논문으로, 고전 AI 계획 평가 기준을 현대화하여 도메인 횡단적 비교 분석 틀을 제공한다. 다만 새로운 방법론 제안보다는 기존 연구의 체계적 분류에 중점을 두고 있으며, 표현력, 환각, 다중 에이전트 계획 등 미해결 문제들을 향후 연구 과제로 명확히 제시함으로써 학계의 관심을 유도하는 데 효과적이다.

 *그림 1: 제안된 개념 개요 - (a) 추론 경계(RB), (b) 계측 가능한 시나리오에서 상한을 정량화하는 결합법칙, (c) 상수 가정 및 (d) 계측 불가능한 경계를 위한 경계 분할 메커니즘, (e) 최적화를 위한 RB 분류* 본 논문은 **추론 경계 프레임워크++(RBF++)**를 제안하여 대형 언어 모델(LLM)의 체인-오브-씽크(CoT) 추론 능력의 한계를 정량화하고 최적화하는 방법론을 제시한다. 계측 가능한 능력과 계측 불가능한 능력(멀티모달 지각 등) 모두에 대해 체계적으로 추론 경계를 분석하고 최적화 전략을 도출한다.

RBF++는 CoT 추론의 경계를 정량화하는 새로운 프레임워크로, 계측 가능한 영역과 불가능한 영역을 모두 다루려는 야심찬 시도이다. 광범위한 실증 검증과 실용적 최적화 방법(MARP++)을 제시한 점이 강점이나, 이론적 기초(특히 상수 가정)의 엄밀성과 보편성에 대해 추가적 논의가 필요하다.

과학 논문의 미래 연구 방향(Future Work) 섹션을 자동으로 생성하기 위해 검색 증강 생성(RAG), LLM 피드백 메커니즘, LLM-as-a-judge 평가 프레임워크를 통합한 접근법을 제안한다. 이 연구는 ACL과 NeurIPS 논문 약 5,500편으로부터 미래 연구 방향을 자동 추출·생성하며, GPT-4o mini 기반 RAG 방식이 가장 우수한 성능을 달성함을 보여준다.

이 논문은 미래 연구 방향 자동 생성이라는 미개척 영역에 대해 RAG, LLM 피드백, 다층 평가를 통합한 체계적인 접근법을 제시하며, 5,500여 편의 논문 데이터셋과 함께 공개하여 학술 공동체에 실질적 기여를 한다. 다만 단일 LLM 모델 중심의 실험과 학문 분야의 제한, 생성 결과의 실제 영향력 측정 부족이 제한 요소이나, 전반적으로 의미 있는 학술 기여를 제공하는 우수한 연구이다.

 *Figure 3: Beginner’s roadmap to MI, designed to help newcomers quickly pick up the field. The MI study is* 트랜스포머 기반 언어모델의 내부 계산을 역공학하여 이해하는 기계적 해석가능성(Mechanistic Interpretability, MI)에 대한 종합 리뷰로, 초보자를 위한 실무 가이드를 제시한다.

이 논문은 빠르게 성장하는 MI 분야에서 초보자부터 경험자까지 모두를 위한 실용적이고 포괄적인 가이드를 제공하며, 작업 중심의 분류체계와 구체적 워크플로우를 통해 해석가능성 연구의 새로운 표준을 제시한다. 현장 적용을 위한 실제 고려사항과 미래 방향을 함께 제시한 점에서 높은 가치를 지닌다.

 *일반적인 자동 팩트체킹(AFC) 파이프라인: 주장 검증성 탐지 → 증거 검색 및 선택 → 진위 판정 → 정당화 생성* 본 논문은 자동 팩트체킹 시스템에서 판정 결과를 설명하기 위한 **정당화(justification) 자동 생성**에 초점을 맞춘 종합 서베이로, 최근 트랜스포머와 대형언어모델(LLM) 발전에 따른 설명 가능한 팩트체킹의 진화를 체계적으로 분석하고 정당화 표준화를 위한 다차원 분류체계를 제시한다.

이 서베이는 자동 팩트체킹의 설명 가능성 향상이라는 시의적절한 주제를 다면적 분류체계로 정리한 유용한 참고자료이나, 정장화 표준화의 구체적 기술적 진전과 실제 벤치마킹 결과 분석을 통해 더욱 강화될 수 있을 것으로 판단된다.

민족지학적 현장 연구와 기계학습(ML)은 각각 현대 사회과학의 핵심 도구이지만 실제로는 분리되어 있었으며, 본 논문은 이 두 방법론을 결합하여 대규모 비교 연구에서 상승효과를 창출할 수 있음을 주장한다.

본 논문은 민족지학과 기계학습의 상보성을 체계적으로 분석하고 실용적 통합 방안을 제시하여 방법론 다원주의를 선도하는 중요한 기여를 하고 있으나, 구체적 기술 구현과 대규모 프로젝트 사례의 상세한 제시를 통해 설득력을 더욱 강화할 필요가 있다.

 *그림 1: LLM 기반 에이전트에 의한 시뮬레이션. 개인 시뮬레이션, 시나리오 시뮬레이션, 사회 시뮬레이션으로 분류* 대규모 언어 모델(LLM) 기반 에이전트를 활용하여 개별 인간 행동부터 복잡한 사회 역학까지 다층적으로 시뮬레이션하는 포괄적인 체계를 제시한다. 이 논문은 개인 수준의 정교한 모델링에서 사회 규모의 다양한 상호작용까지 진행하는 시뮬레이션의 발전 과정을 체계적으로 분류하고 분석한다.

이 논문은 LLM 기반 에이전트의 사회 시뮬레이션 활용을 개인→시나리오→사회로 계층화하여 최초로 통합적으로 정리한 중요한 서베이이다. 광범위한 문헌 수집과 다차원적 분류 체계는 해당 분야의 나침반 역할을 할 것이나, 실제 인간 행동과의 검증 및 윤리적 함의에 대한 심화 논의가 향후 과제로 남아있다.

GPT-4o는 텍스트, 오디오, 이미지, 비디오를 입력으로 받아 텍스트, 오디오, 이미지를 출력할 수 있는 엔드-투-엔드 멀티모달 모델이며, 특히 음성-음성(speech-to-speech) 대화 능력에서 인간 수준의 응답 속도(232-320ms)를 달성했다. 본 System Card는 GPT-4o의 안전성 평가, 위험 식별, 완화 조치를 종합적으로 문서화한 투명성 보고서이다.

본 System Card는 멀티모달 음성 생성 모델의 고유한 위험을 체계적으로 식별하고 다층 방어 전략으로 완화하는 실질적 사례를 제시함으로써, 거대언어모델의 투명성과 책임성 보고 기준을 정립하는 데 중요한 기여를 했다. 다만 TTS 기반 평가의 방법론적 한계와 실제 사용 환경의 음성 다양성 사이의 간극 해결이 향후 과제로 남아있다.

과학기계학습(SciML) 모델의 배포 후 분포 변화(distribution shift)에 적응하면서 이전 학습 지식을 보존해야 하는 지속학습(continual learning) 문제를 해결하기 위해, Fourier Neural Operator(FNO)에 단일 레이어 확장(Single-Layer Extension)을 결합한 SLE-FNO를 제안한다.

본 논문은 과학기계학습에서 실제 배포 후 분포 변화 적응이라는 과소 연구 문제를 다루며, FNO에 특화된 경량 지속학습 방법(SLE-FNO)을 제시한다. 포괄적 벤치마크, 영점 망각 달성, 낮은 파라미터 오버헤드, 자동 OOD 검출 등이 주요 강점이다. 다만 단일 심혈관 응용 문제만 평가되었고, OOD 검출 메커니즘과 물리 보존 특성에 대한 기술적·이론적 깊이가 부족하다. SciML 커뮤니티에 실질적 기여를 하는 견실한 연구이나, 광범위한 일반화 입증과 기술적 완성도 향상이 필요하다.

 *LLM 기반 에이전트 계획 수립의 5가지 주요 분류* 본 논문은 대규모 언어모델(LLM)을 자율 에이전트의 계획 모듈로 활용하는 최신 연구들을 체계적으로 분석한 첫 번째 종합 설문 논문이다. 기존의 기호 기반 방법과 강화학습 기반 방법의 한계를 극복하기 위해 LLM의 추론 및 도구 활용 능력을 활용한 계획 수립 방법들을 5가지 범주로 분류하여 상세히 분석한다.

본 논문은 급속히 발전하는 LLM 기반 에이전트 계획 분야에 대한 첫 체계적 종합 분석을 제공하며, 5가지 명확한 분류 체계와 상세한 기술적 분석을 통해 커뮤니티에 중요한 참고자료가 될 것으로 평가된다. 향후 각 방향의 한계 극복과 방법론 간 결합 연구가 핵심 과제가 될 것으로 예상된다.

과학 분야에서 사용되는 대규모 언어모델(LLM)의 신뢰성을 평가하기 위한 포괄적 프레임워크 SciTrust를 제시한다. 다중 평가 방식(객관식 벤치마크, 오픈엔드형 질문, LLM 기반 판정자)을 결합하여 진실성, 환각(hallucination), 아첨(sycophancy) 측면에서 다섯 가지 LLM의 성능을 비교 분석했다.

SciTrust는 과학 도메인에 특화된 LLM 신뢰성 평가의 중요한 기초를 마련하였으며, 공개된 벤치마크와 평가 프레임워크의 가치가 높다. 다만 평가 메트릭 간의 불일치 해결과 모든 신뢰성 측면에 대한 정량적 결과 제시가 필요하다.

 *그림 1: 88개 언어에 대한 데이터 크기 비교 (GiB, 로그 스케일). CommonCrawl은 저자원 언어의 데이터를 수십 배 이상 증가시킴* 본 논문은 100개 언어에서 2TB 이상의 필터링된 CommonCrawl 데이터로 사전학습한 XLM-RoBERTa (XLM-R)를 제시하며, 다언어 마스크 언어 모델링이 대규모로 학습될 때 교차언어 전이학습 성능을 크게 향상시킴을 보여준다.

XLM-R은 대규모 다언어 데이터와 모델 확장이 교차언어 이해의 새로운 지평을 열 수 있음을 명확히 보여준 영향력 있는 연구로, 특히 다언어성의 저주 개념 도입과 저자원 언어 성능 혁신이 후속 연구에 미친 영향이 매우 큼. 다만 계산 효율성 측면의 개선 방안은 향후 과제로 남음.

 *기존 Self-Instruct 방식과 MIMG 프레임워크의 비교: 다중 홉 질문, 고품질, 다양성 측면에서의 개선* 장문맥(long context) 대규모언어모델(LLM) 훈련용 고품질 다중 홉(multi-hop) 지시어 조정 데이터셋 생성의 핵심 요소를 체계적으로 규명하고, 다중 에이전트 상호작용 기반의 데이터 합성 프레임워크(MIMG)를 제안하여 기존 방식의 35% 수준의 다중 홉 데이터를 85% 이상으로 개선했다.

본 논문은 장문맥 다중 홉 지시어 데이터셋 생성의 핵심 요소를 체계적으로 규명하고, 다중 에이전트 상호작용 기반의 실용적 프레임워크를 제시하여 데이터 합성 분야에 의미 있는 기여를 한다. 광범위한 실증 실험과 인간 데이터 초과 성능이 가치 있으나, 프레임워크 복잡도와 계산 비용 측면의 실무적 제약이 보완되어야 할 것으로 판단된다.

 *멀티모달 인-컨텍스트 학습의 세 가지 핵심 단계: 시연(demonstration) 검색, 순서 지정, 프롬프트 구성* 본 논문은 시각 언어 모델(Vision LLM)에서 멀티모달 인-컨텍스트 학습(MM-ICL)의 성능을 결정하는 요소들을 체계적으로 분석합니다. 6개 모델과 20가지 전략을 통해 시연 검색, 순서 지정, 프롬프트 구성의 세 단계에서 성능에 영향을 미치는 핵심 요인들을 규명합니다.

본 논문은 급속히 발전하는 MM-ICL 분야에서 성능을 결정하는 근본 요인들을 처음으로 체계적으로 규명한 중요한 기초 연구입니다. 특히 멀티모달 정렬의 병목 현상과 모달리티 순서의 중요성 등의 발견은 향후 시각 언어 모델 개발과 프롬프트 최적화 연구에 실질적 방향을 제시합니다. 다만 작업 범위 확대, 통계적 엄밀성 강화, 동적 최적화 방향 탐색을 통해 일반화 가능성을 높일 필요가 있습니다.

자율 실험실(Self-Driving Laboratories, SDL)은 실험 워크플로우의 자동화와 데이터 기반 의사결정을 결합하여 화학 및 재료 과학 연구의 속도를 획기적으로 가속화할 수 있는 기술이다. 이 종합 리뷰는 SDL의 현황, 기반 기술, 실제 응용 사례, 그리고 각 분야의 도전 과제를 체계적으로 분석한다.

이 리뷰는 자율 실험실 기술의 현황을 종합적으로 분석한 권위 있는 문헌으로, 명확한 분류 체계와 다양한 실제 응용 사례를 통해 SDL 분야의 로드맵을 제시한다. 다만 Level 5 SDL의 미실현과 범용 시스템 개발의 과제는 향후 해결해야 할 중요한 기술적 난제를 시사한다.

 *기존의 RLHF와 달리 Stable Alignment은 시뮬레이션된 사회적 상호작용을 통해 직접 언어모델을 정렬한다* 본 논문은 시뮬레이션된 사회적 상호작용을 통해 언어모델을 사회적으로 정렬(socially aligned)시키는 새로운 학습 패러다임을 제시한다. 기존 감독 학습이나 보상 모델링의 한계를 극복하기 위해 다중 에이전트 시뮬레이션 환경(SANDBOX)에서 생성된 상호작용 데이터를 활용하여 보다 견고하고 확장 가능한 정렬 방법을 제안한다.

본 논문은 기존의 감독 학습과 보상 모델링의 한계를 극복하기 위해 시뮬레이션된 사회적 상호작용을 활용하는 혁신적이고 실용적인 접근을 제시하며, 벤치마크와 적대적 공격에 대한 견고성에서 우수한 성능을 보여준다. 다만 시뮬레이션-현실 간극, 명시적 규칙 정의, 다문화적 일반화 측면에서 개선의 여지가 있다.

 *Figure 2. Taxonomy of Long Context Language Modeling.* 장문맥 언어모델(LCLM) 구축, 훈련, 배포, 평가를 위한 포괄적 조사로, 데이터 전략부터 인프라, 평가 패러다임, 응용 분야까지 체계적으로 정리한 대규모 서베이 논문.

장문맥 언어모델의 전체 생명주기를 최초로 체계적으로 정리한 필수 참고 자료로, 데이터부터 배포까지 실무자에게 유용하며, 평가 신뢰성 문제 지적 등 비판적 통찰도 제공한다.

대규모 검증된 논문 저자 816명을 대상으로 LLM(Large Language Model)의 연구 활용 현황과 인식을 조사한 첫 대규모 실증 연구로, 연구자의 인구통계학적 배경에 따른 사용 양식과 윤리 인식의 차이를 드러냈다.

본 연구는 LLM의 학술 도입을 단순 기술 채택 문제가 아닌 연구 형평성 문제로 재프레임화하며, 816명의 검증된 저자를 조사한 첫 대규모 실증 자료를 제공한다. 인구통계학적 격차의 발견은 학술 공동체의 주목할 만한 성과이나, 자기 보고 편향과 인과성 규명 부재 등 방법론적 한계는 다음 단계 종단 또는 실험 설계 연구로 보완되어야 한다.

LLM(Large Language Model) 기반의 에이전틱 AI 시스템이 과학 연구의 자동화를 혁신하고 있으며, 본 논문은 화학, 생물학, 재료과학 등 다양한 분야에서의 진행 상황, 평가 지표, 구현 프레임워크, 그리고 극복해야 할 과제들을 종합적으로 검토한다.

본 논문은 LLM 기반 에이전틱 AI의 과학 응용을 **체계적으로 정리한 중요한 서베이**로, 자율-협업 이분법을 통해 실용적 관점을 제공하나, 현실적 한계(문헌 검토 자동화, 신뢰성 보증)를 직시하고 있다. 다만 새로운 기술 혁신보다는 **기존 기술의 종합·분류** 성격이 강하므로, 추후 구체적 개선 방법론(예: 하이브리드 검색-생성 문헌 분석, 불확실성 정량화)이 필요한 상태이다.

 *Figure 1. Feynman 문제와 LLM-SRBench 데이터셋(LSR-Transform, LSR-Synth)에서 단순 LLM 샘플링(Llama-3.1-8B)의 오차 분석. Feynman 문제에서 수치 오차 곡선의 급격한 하강과 낮은 기호 오차는 실제 발견보다 암기를 시사함.* 본 논문은 대규모 언어 모델(LLM) 기반 과학 방정식 발견의 진정한 능력을 평가하기 위해 암기를 방지하는 종합적 벤치마크 LLM-SRBench를 제안한다. 4개 과학 분야에서 239개 도전 문제로 구성되어 있으며, 최고 성능 모델도 31.5% 기호 정확도에 불과함을 보여준다.

LLM-SRBench는 과학 방정식 발견 분야에서 실질적 필요에 응하는 도전적이고 엄격한 벤치마크를 제공하며, 암기 방지 설계와 다중 도메인 커버리지가 장점이나, 합성 문제 생성의 자동화 및 기존 SR 방법과의 비교 확대가 후속 개선 과제이다.

 *다양한 차트 관련 작업 예시: 요약, 질문-답변, 팩트 체킹, 추론, 코딩 능력 등을 포함한 8가지 유형의 지시문 튜닝 작업* 본 논문은 차트 이해와 추론을 위한 대규모 지시문 튜닝 데이터셋(191K 지시문, 71K 차트)을 제시하고, 차트 특화 비전-언어 모델(VLM)의 일반화 능력을 대폭 향상시키는 두 가지 시스템을 제안한다.

본 논문은 차트 도메인에서 처음으로 대규모 지시문 튜닝 데이터셋을 구축하고 차트 특화 VLM을 개발하여 차트 이해의 일반화 능력을 획기적으로 향상시켰다는 점에서 중요한 기여를 하였으나, 자동 데이터 추출 오류, 제한된 모델 크기, 신규 작업 타당성 검증 부족 등이 개선할 점으로 남아 있다.

 *BRICS 기반 단편(fragment)과 반응물(reactant) 간의 유사성 분포(평균 66.5%) 및 이중 과제 학습을 통한 성능 향상(6.3% 개선)* 본 논문은 대규모 언어 모델(LLM)을 화학 반응 및 역합성 예측에 적용할 때 직면하는 데이터 부족과 과제 간 상관관계 무시 문제를 해결하기 위해, BRICS 기반 440만 개 분자 데이터셋과 이중 과제 학습 전략을 갖춘 ChemDual 프레임워크를 제안한다.

ChemDual은 BRICS 기반 저비용 대규모 데이터셋과 화학적 직관에 기반한 이중 과제 학습으로 화학 반응/역합성 예측에서 의미 있는 성능 향상을 달성했으며, 약물 설계 응용 가능성을 실증했다. 다만 단편화 방법의 한계, 해석 가능성 부족, 평가 범위 확대의 필요성이 향후 개선 방향이다.

 *그림 1: 자원 활용에서 전통적인 추출적 방법(왼쪽)과 통합적 접근법(오른쪽)의 비교* 본 논문은 극도로 긴 입력 자원으로부터 장문 기사를 생성하는 LLM의 능력을 향상시키기 위해, 정보 병목 이론에 기반한 합성곱 신경망 영감의 테스트 타임 스케일링 방법을 제안한다. 추출적 방법의 한계를 극복하기 위해 자원을 통합적으로 활용하는 엔트로피 기반 최적화 프레임워크를 소개한다.

본 논문은 정보 이론 기반의 견고한 분석과 실용적 파이프라인 설계를 통해 장문→장문 생성의 자원 활용 문제를 체계적으로 해결한 우수한 연구이다. SurveyEval 벤치마크의 구축과 32.9% 이상의 성능 향상은 실질적 가치가 있으나, 높은 계산 비용과 일부 설계 선택의 동기 부족이 실무 적용을 제한할 수 있다.

 *그림 1: 분자 구조의 다양한 수준이 서로 다른 특성에 영향을 미침: (a) 원자 수준에서 불소와 질소가 산성도와 염기성에 영향, (b) 부분구조 수준에서 하이드록실 그룹이 소수성에 영향, (c) 분자 수준에서 전체 구조가 끓는점에 영향* 본 논문은 원자(atom)에서 과제(task) 수준까지 계층적 매칭을 수행하는 UniMatch 모델을 제안하여, 분자의 다층적 구조 정보를 명시적으로 포착하고 메타러닝을 통해 과제 간 일반화를 달성함으로써 few-shot 약물 발견 문제를 해결한다.

UniMatch는 분자의 다층적 구조 정보를 명시적으로 포착하고 메타러닝으로 과제 간 일반화를 달성하는 실용적이고 효과적인 프레임워크이며, 여러 벤치마크에서 기존 방법 대비 일관된 성능 향상을 보여줌. 다만 메타러닝 기법의 상세한 설명과 계산 효율성 분석이 보완되면 논문의 완성도가 더욱 높아질 것으로 예상됨.

 *표준 방식(STANDARD)과 HIAGENT의 비교: HIAGENT는 부분목표(subgoal)를 메모리 청크로 사용하여 작업 메모리를 계층적으로 관리하며, 다섯 개의 장기 수평 과제에서 성공률을 2배 증가시킴* 장기 수평 과제(long-horizon task)를 수행하는 대규모 언어 모델(LLM) 기반 에이전트의 작업 메모리(working memory)를 부분목표 기반의 계층적 구조로 관리하여, 컨텍스트 길이를 줄이면서 성공률을 획기적으로 향상시키는 방법론을 제시한다.

HIAGENT는 인지과학의 청킹 원리를 LLM 에이전트에 효과적으로 적용하여 장기 과제에서 획기적인 성능 개선을 달성한 실용적이고 창의적인 연구이며, 특히 컨텍스트 길이 감소와 실행 시간 단축 측면에서 실무적 가치가 높다.

16개의 주요 AutoML 도구를 21개의 실제 데이터셋에서 이진, 다중클래스, 다중라벨 분류 작업으로 체계적으로 벤치마킹하여, 각 도구의 성능-효율성 트레이드오프를 분석한 종합 평가 연구이다.

이 연구는 AutoML 도구 선택의 실무적 어려움을 해결하기 위해 세 분류 유형을 모두 포함한 최초의 체계적이고 통계적으로 엄격한 벤치마크를 제시하며, 재현 가능한 실험 프로토콜과 공개 코드를 통해 학술 및 산업계에 즉각적인 가치를 제공한다.

 *STANDARD 패러다임과 HiAgent의 작업 메모리 관리 비교* 대규모 언어 모델(LLM) 기반 에이전트의 장기 작업 수행을 위해, 인지과학의 청킹(chunking) 원리에 영감을 받아 **부분목표(subgoal)를 메모리 청크로 활용한 계층적 작업 메모리 관리 프레임워크**를 제시한다. 기존 방식의 모든 행동-관찰 쌍을 컨텍스트에 포함하는 방식을 개선하여 작업 메모리 중복성을 제거한다.

인간의 인지 메커니즘에 영감을 받아 계층적 작업 메모리 관리로 LLM 에이전트의 장기 작업 성능을 실질적으로 향상시킨 실용적이고 효과적인 연구이다. 다만 부분목표 자동 생성과 요약 전략의 상세 기술화 및 더 광범위한 평가 확대가 필요하다.

 *LiveIdeaBench의 전체 설계: (a) 1,000개 이상의 과학 키워드를 사용한 발산적 사고 촉진, (b) 판정 LLM이 5가지 차원으로 평가, (c) 상위 10개 최첨단 모델로 구성된 동적 평가 패널, (d-f) Guilford 창의성 이론 기반 5가지 차원 평가 방법론* 본 논문은 최소한의 맥락(단일 키워드)을 사용하여 대규모 언어모델(LLM)의 과학적 아이디어 생성 능력과 발산적 사고(divergent thinking) 능력을 평가하는 포괄적인 벤치마크 LiveIdeaBench를 제시한다. 40개 이상의 모델을 22개 과학 분야의 1,180개 키워드로 평가한 결과, 과학적 아이디어 생성 능력이 일반 지능 점수로 잘 예측되지 않음을 보여준다.

LiveIdeaBench는 LLM의 과학적 창의성 평가에 새로운 관점을 제시하며, 일반 지능과 창의성의 독립성을 실증한 의미 있는 벤치마크다. 다만 평가의 최소 맥락화, 판정자 편향, 실제 과학 성과로의 연결 고리 등 여러 한계가 있어 추가 검증과 개선이 필요하다.

 *Figure 1: 주파수에 따른 LMBH 쌍성계의 중력파 스트레인. 검사 질량 범위에서 다양한 총질량의 파형 비교.* 1-2 M☉ 범위의 저질량 컴팩트 천체 쌍성계 합병 신호가 중성자별(BNS) 인지 저질량 블랙홀(LMBH) 인지 구별하기 위해, 본 논문은 **후기 접근 및 합병 후 중력파 파형의 차이**를 이용한 구분 방법을 제시하고, 이를 통해 **비소멸 암흑물질(non-annihilating dark matter)의 제약 조건**을 도출한다.

이 논문은 중력파 천문학과 암흑물질 탐색을 연결하는 우아한 연구로, **후기 검사 및 합병 후 파형**의 차이를 이용해 저질량 컴팩트 천체를 구분하고, 이를 통해 비소멸 암흑물질에 제약을 부과하는 혁신적 방법론을 제시한다. 미래 검출기의 향상된 민감도를 활용한 실용적 전망이 특히 강점이나, 현재 LIGO A+의 제한된 적용성과 동등질량 시스템 제한은 개선 여지가 있다.

 *그림 1: ChemCrow의 개요 및 도구 집합. (a) 작업 해결 프로세스의 개요. (b) 구현된 18개의 도구 세트* 대규모 언어 모델(LLM)에 18개의 화학 전문 도구를 통합하여 유기합성, 신약 개발, 재료 설계 등 다양한 화학 작업을 자율적으로 수행할 수 있는 ChemCrow 에이전트를 개발했다. GPT-4를 기반으로 하는 이 시스템은 Thought-Action-Observation 루프를 통해 화학 문제 해결에서 LLM의 고질적 한계를 극복한다.

ChemCrow는 LLM을 화학 도구와 물리적 실험 플랫폼에 효과적으로 연결하여 자율 화학 합성과 신규 분자 발견을 실현한 획기적 연구다. 특히 실험 검증과 인간-AI 협력 사례는 설득력 있으나, LLM 평가자의 신뢰성 문제와 도구 집합의 제한성, 완전 자동화 달성의 미흡함은 향후 개선이 필요한 과제로 남는다.

 *그림 1: LARC 프레임워크 개요. (a) 사용자 프롬프트로 목표 분자와 제약조건 지정, (b) EVALUATOR가 각 반응을 제약조건에 대해 평가, (c) 툴박스로 평가 근거화, (d) SYNTHESIZER가 피드백을 반영하여 경로 탐색, (e) 제약조건을 만족하는 합성 경로 출력* 본 논문은 대규모 언어 모델(LLM) 기반의 에이전트 프레임워크 LARC를 제안하여, 화학에서 발암물질 회피, 자연발화물질 제거 등 실질적인 제약조건 하에서 망원(retrosynthesis) 계획을 수행한다. LARC는 72.9%의 성공률을 달성하여 기존 LLM 기반 방법을 크게 상회하고 인간 전문가 수준에 접근한다.

본 논문은 LLM 기반 에이전트를 화학의 실질적 제약조건 망원 계획에 처음 적용한 의미 있는 연구로, Agent-as-a-Judge를 계획 루프 내부에 통합하는 설계가 창의적이며 72.9% 성공률로 높은 실효성을 입증한다. 다만 평가 데이터셋 규모가 제한적이고 도구 정확성 의존성, 제약유형 확장성, 비용 분석 부재 등이 보완되어야 산업 적용 가능성이 확보될 것으로 예상된다.

본 논문은 과학적 발견 과정에서 LLM의 역량을 평가하기 위한 첫 번째 대규모 벤치마크 **ResearchBench**를 제시한다. 영감 검색(inspiration retrieval), 가설 구성(hypothesis composition), 가설 순위 결정(hypothesis ranking)의 세 가지 하위 작업으로 과학 발견 과정을 분해하고, 12개 분야의 1,386편 논문(2024년 발행)으로부터 자동 추출 프레임워크를 통해 벤치마크를 구축했다.

**ResearchBench**는 과학 발견에서 LLM의 역량을 평가하는 **첫 번째 체계적이고 대규모의 벤치마크**로서, 영감 검색의 OOD 능력 발견과 자동 추출 프레임워크의 설계에서 상당한 원창성을 보유하고 있다. 다만, 추출 정확도의 한계, "영감"의 철학적 정의 부재, 생성 가설의 과학적 타당성 검증 부재 등이 미해결 과제로 남아 있으며, 이들이 해소될 경우 과학 발견 자동화 연구의 중요한 기반이 될 수 있을 것으로 판단된다.

본 연구는 사용자가 정의한 필터링 알고리즘을 자동으로 데이터 수집 전략으로 변환하여, 복잡한 재료 설계 목표를 달성하기 위한 Bayesian Algorithm Execution (BAX) 기반 프레임워크를 제시한다. 이를 통해 최적화나 전체 함수 추정이 아닌 특정 설계 공간의 부분집합 탐색을 효율적으로 수행할 수 있다.

본 연구는 사용자 중심의 알고리즘 기반 목표 표현을 Bayesian sequential design과 결합한 창의적 프레임워크로, 재료 발견의 실제 수요(다중 물성, 복잡한 제약)에 직접 대응한다. 두 개의 실제 재료 데이터셋에서 우수한 성과를 입증했으나, 더 큰 규모의 설계 공간 검증과 실시간 자동화 실험 통합을 통한 추가 검증이 필요하다.

 *화학 반응 절차를 자연언어에서 구조화된 행동 시퀀스로 추출하는 예시* 과학 문헌의 비정형 자연언어로 표현된 실험 절차를 Python 코드 생성 문제로 재정의하여 대규모 언어모델(LLM)을 활용해 화학 합성 행동을 추출하는 방법론을 제시한다. 프로그래밍 언어의 구조적 특성(클래스, 상속, 타입)을 활용하여 엔티티 간 관계를 명확히 포착한다.

ActionIE는 프로그래밍 언어의 구조적 특성을 활용하여 과학 문헌의 복잡한 실험 절차를 추출하는 창의적인 접근법을 제시하며, 신규 벤치마크와 평가 메트릭을 통해 실질적 기여를 하였다. 다만 LLM 의존성, 도메인 특화성, 패턴 마이닝의 신뢰도 분석 강화로 더욱 견고한 연구가 될 수 있다.

 *Figure 1: 리뷰어 간 모순의 예시 - Reviewer 1은 증거가 강하고 충분하다고 평가하지만, Reviewer 2는 그 증거에 회의적* 본 논문은 과학 논문의 피어 리뷰 과정에서 리뷰어 간의 모순(disagreement)을 자동으로 탐지하는 새로운 과제를 제시하고, 이를 위한 대규모 데이터셋 ContraSciView와 기준 모델을 제안한다.

피어 리뷰 프로세스에서 리뷰어 간 모순을 자동으로 탐지하는 새로운 과제를 개척한 의의 있는 연구로, 정교하게 구축된 고품질 데이터셋과 현실적 적용 가치가 강점이다. 다만 기준 모델의 기술적 혁신이 제한적이고, 평가 분석의 깊이를 높인다면 학술 출판 커뮤니티의 큰 관심을 받을 수 있을 것으로 판단된다.

 *그림 1: AI 기반 로봇 플랫폼의 광학 시스템 설계, 조립, 정렬 및 측정 자동화 파이프라인 개요* 본 논문은 생성형 AI, 컴퓨터 비전, 정밀 로봇공학을 통합하여 자유 공간 광학 실험(free-space optical experiments)의 설계, 조립, 정렬, 측정을 완전 자동화하는 최초의 플랫폼을 제시한다. LLM 기반 설계 에이전트가 사용자 요구사항을 광학 배치로 변환하고, 7자유도 로봇 팔이 마이크로미터 수준의 정밀도로 조립 및 정렬을 수행하며, 자동화된 측정 시스템이 인간 작업자를 능가하는 일관성으로 빔 특성화, 편광 맵핑, 분광 분석을 실행한다.

본 논문은 생성형 AI, 정밀 로봇공학, 컴퓨터 비전을 통합하여 광학 분야 최초의 완전 자동화 플랫폼을 구현했으며, QuanTA 기반 효율적 미세조정과 로봇 배치 미세 정렬 도구 등 여러 기술적 혁신을 포함한다. 실제 광학 랩 환경에서의 검증과 인간 수준을 능가하는 일관성은 물리과학 자동화 분야에서 이정표적 기여이나, 적용 범위의 일반화 및 3D 배치 지원 등에서 향후 개선 여지가 있다.

 *Figure 1: AlphaGenome 모델 아키텍처, 학습 방식 및 종합 평가 성능. (a) 모델 개요: 1 Mb DNA 서열을 입력받아 11개 모달리티에서 5,930개의 게놈 트랙을 단일 염기쌍 해상도로 예측. (e) 변이 효과 예측에서 기존 모델 대비 상대적 성능 개선* AlphaGenome은 1 메가베이스(Mb) DNA 서열 입력과 단일 염기쌍(bp) 해상도를 통합하여, 11개의 생물학적 모달리티(유전자 발현, 스플라이싱, 크로마틴 접근성, 조직인자 결합, 3D 크로마틴 구조 등)에 걸쳐 5,930개의 게놈 트랙을 동시에 예측하는 통합 딥러닝 모델이다.

AlphaGenome은 기존의 구조적 트레이드오프를 극복하고 11개 모달리티를 통합하는 강력한 unified model로서, 비코딩 변이의 분자적 효과 해석을 위한 중요한 진전을 제시한다. 광범위한 벤치마킹과 공개 도구 제공으로 실용적 임팩트가 높으나, 컨텍스트 길이 한계와 일부 modality의 해상도 제약이 향후 개선 과제이다.

본 논문은 GPT-4를 활용한 대규모 실증 분석을 통해 LLM이 학술 논문에 대해 유용한 피드백을 제공할 수 있는지 체계적으로 평가한 첫 번째 연구이다. Nature 저널 3,096편과 ICLR 1,709편의 논문을 분석한 결과, GPT-4의 피드백이 인간 리뷰어들의 의견과 비슷한 수준의 일치도를 보였으며, 308명의 연구자 설문 조사에서 57.4%가 유용하다고 평가했다.

본 논문은 LLM의 과학 피드백 생성 능력을 최초로 대규모로 체계적으로 평가한 중요한 연구이다. 다양한 학문 영역의 대규모 데이터셋(4,805편)과 엄밀한 방법론, 그리고 실제 사용자 연구를 결합하여 높은 신뢰도를 확보했으며, 결과적으로 LLM이 인간 리뷰어와 비슷한 수준의 피드백 관점을 포착할 수 있음을 입증했다. 다만 LLM의 심층적 방법론 비판 능력 부족과 특정 양상의 피드백에 대한 편향성은 향후 개선이 필요한 영역이며, 인간-LLM 협력 모델의 개발이 실질적 의의를 가질 것으로 예상된다.

 Code Llama는 Llama 2 기반의 오픈소스 코드 생성 대규모언어모델(Large Language Model, LLM) 계열로, 코드 인필링(infilling), 장문맥 처리, 명령어 추종 능력을 갖춘 차세대 코드 생성 모델이다. 7B부터 70B 파라미터까지 4가지 크기의 모델과 3가지 변형(기본, Python 특화, Instruct)을 제공하며, 공개 모델 중 최고 수준의 성능을 달성한다.

Code Llama는 체계적인 다단계 특화 전략으로 공개 코드 생성 LLM의 실용성과 성능을 동시에 달성한 견고한 연구이다. 특히 인필링과 장문맥 지원, 다양한 모델 가족으로 실제 개발 환경의 요구사항에 부응하는 점이 핵심 강점이며, 상업용 라이선스 공개를 통해 산업 활용도 높다.

 *UI-TARS가 항공편 검색을 돕는 데모 사례* 스크린샷만을 입력으로 받아 마우스, 키보드 조작 등 인간 같은 상호작용을 수행하는 네이티브 GUI 에이전트 모델로, 상용 모델(GPT-4o)에 기반한 프레임워크들을 뛰어넘는 엔드-투-엔드(end-to-end) 성능을 달성했다.

UI-TARS는 GUI 에이전트 분야의 패러다임 전환을 제시하는 중요한 논문으로, 엔드-투-엔드 네이티브 모델이 모듈식 프레임워크를 실제로 능가할 수 있음을 보여주었으며, 특히 자동화된 데이터 수집과 반성 기반 학습 메커니즘은 향후 유사한 구체화(embodied) AI 분야의 발전에 중요한 기여를 할 것으로 기대된다.

 *VIRSCI의 5단계 프로세스: 협력자 선택, 주제 토론, 아이디어 생성, 신규성 평가, 초록 생성* LLM 기반 멀티-에이전트 시스템(VIRSCI)은 실제 과학자의 데이터를 기반으로 협업 팀을 구성하여 혁신적인 과학 아이디어를 생성한다. 이는 단일 에이전트 시스템 대비 현대 연구와의 부합성 13.8%, 잠재적 영향력 44.1% 향상을 달성한다.

본 논문은 실제 과학자 데이터를 기반으로 한 첫 번째 멀티-에이전트 과학 협업 시스템을 제시하며, 팀 간·팀 내 토론 메커니즘과 시간 기반 생태계 모델링을 통해 기존 연구의 한계를 명확히 극복했다. 다만 계산 효율성, LLM 일반화, 정성적 평가 부분에서 보완이 필요하고, 전체 논문 생성으로의 확장성 검증이 요구된다.

 *Figure 1: 능동적 문의를 통한 언어모델의 질의 응답 과정. (A) 문의 없이 직접 답변, (B) 사용자에게 명확한 질문을 통해 능동적으로 정보 수집* 본 논문은 대형 언어모델(LLM)이 사용자의 모호한 질의를 명확히 하기 위해 능동적으로 질문을 제기하는 LaMAI(Language Model with Active Inquiry) 방법을 제안한다. 능동학습(active learning) 기법을 활용하여 가장 정보량이 많은 질문을 선택함으로써 LLM의 응답 정확도를 크게 향상시킨다.

LaMAI는 LLM이 모호한 사용자 질의를 처리하기 위해 능동적으로 명확화 질문을 제기하도록 하는 창의적인 접근으로, 불확실성 추정과 능동학습을 체계적으로 결합하여 상당한 성능 향상을 달성했다. 다만 현실 환경에서의 피드백 품질 관리와 사용자 경험 최적화 관련 더 깊이 있는 논의가 필요하다.

 *MLGym의 구조: 다양한 AI 연구 작업을 통합하는 프레임워크* 본 논문은 LLM 기반 AI 연구 에이전트(AI Research Agent)를 평가하고 개발하기 위한 첫 번째 Gym 환경인 **MLGym**과 13개 과제로 구성된 벤치마크 **MLGym-Bench**를 제시한다. 이는 RL, 커리큘럼 러닝 등 다양한 학습 알고리즘으로 에이전트를 훈련할 수 있는 통합 플랫폼을 제공한다.

MLGym은 AI 연구 자동화 분야의 첫 Gym 환경으로서 표준화된 평가와 훈련을 가능하게 하는 중요한 인프라를 제공하나, 현재 LLM의 진정한 과학적 혁신 능력 부족은 Level 1(기저선 개선)에 머물게 함. 향후 더 고도화된 에이전트 알고리즘과 상위 역량 작업 추가로 진정한 AI 과학자 개발의 발판이 될 수 있을 것으로 기대됨.

 *Figure 1: AI 설계 에이전트 프레임워크로 자동차 설계 프로세스 가속화. VLM(비전-언어 모델), 기하 딥러닝, LLM을 통합하고 AutoGen으로 에이전트 간 협업 조율* 본 논문은 자동차 설계 분야에 AI 설계 에이전트(Design Agents)를 도입하여, 스케칭부터 공기역학 시뮬레이션까지 전 설계 주기를 수 주일에서 수 분으로 단축하는 다중 에이전트 프레임워크를 제시한다. VLM, LLM, 기하 딥러닝 기법을 활용한 전문화된 에이전트들이 엔지니어와 디자이너와 협력하여 설계 창의성과 효율성을 대폭 향상시킨다.

본 논문은 생성형 AI와 기하 딥러닝을 자동차 설계에 체계적으로 통합한 혁신적 프레임워크를 제시하며, 산업 규모 데이터셋과 자동화된 워크플로우를 통해 설계 사이클 획기적 단축을 입증했다. 다만 정량적 성능 평가와 실제 설계 프로젝트에서의 엔드유저 피드백이 추가되면 학술적 임팩트와 실무 적용성이 한층 강화될 것으로 기대된다.

ToolUniverse는 600개 이상의 머신러닝 모델, 데이터셋, API 및 과학 패키지를 통합하여 어떤 LLM이나 추론 모델에서도 AI 과학자(AI scientist) 시스템을 구축할 수 있는 오픈소스 생태계이다. 표준화된 AI-도구 상호작용 프로토콜을 통해 도구 발견, 실행, 최적화, 생성을 자동화하여 과학적 발견 과정을 민주화한다.

ToolUniverse는 과학적 발견을 위한 AI 시스템 구축을 표준화하고 민주화하는 혁신적 인프라를 제시하나, 다양한 과학 도메인에서의 광범위한 검증과 안전/거버넌스 메커니즘 강화가 필요하다.

 *VIRSCI 시스템의 5단계: 협력자 선택, 주제 논의, 아이디어 생성, 새로운성 평가, 초록 생성* 본 연구는 대규모 언어모델(LLM) 기반의 다중 에이전트 시스템 VIRSCI(Virtual Scientists)를 제안하여, 실제 과학 연구의 협력 메커니즘을 모방함으로써 단일 에이전트 시스템보다 혁신적인 과학 아이디어 생성을 달성한다. 실제 과학자 데이터와 논문 데이터베이스를 활용한 가상 과학 생태계를 구축하여 객관적인 평가를 가능하게 했다.

VIRSCI는 실제 과학자 데이터와 정교한 협력 메커니즘을 결합하여 LLM 기반 과학 아이디어 생성의 새로운 패러다임을 제시하는 의미 있는 연구이다. 다중 에이전트 협력이 혁신성을 높인다는 정량적 증거를 제공하고 과학과학 이론과의 정렬을 통해 신뢰성을 강화했으나, 생성 아이디어의 실제 과학적 가치 검증 및 다양한 도메인에의 일반화 가능성 검토가 필요하다.

 *Fig. 1. Network architecture and performance.* 3-트랙 신경망 아키텍처를 이용하여 1D 서열, 2D 거리 지도, 3D 좌표 정보를 동시에 처리함으로써 AlphaFold2에 근접한 단백질 구조 예측 정확도를 달성하고 단백질-단백질 복합체 모델링을 가능하게 했다.

RoseTTAFold는 AlphaFold2의 핵심 개념을 3-트랙 아키텍처로 창의적으로 재구성하여 경쟁력 있는 성능을 달성했으며, 특히 공개 방식으로 제공됨으로써 단백질 구조 예측의 민주화와 구조생물학 연구 가속화에 크게 기여하는 획기적인 연구다.

 *PROTEUS의 반복적 개선 프레임워크(a)와 상세한 작업 프로세스(b). 데이터 설명, 연구 목표 계획, 워크플로우 계획, 도구 실행, 결과 해석의 순환 구조* 본 논문은 대규모 언어모델(LLM)을 활용하여 원본 단백질체학(proteomics) 데이터로부터 자동으로 과학적 발견을 수행하는 PROTEUS 시스템을 제시한다. 인간의 개입 없이 계층적 계획 수립, 생물정보학 도구 실행, 반복적 분석 워크플로우 정제를 통해 고품질의 생물학적 가설을 생성한다.

PROTEUS는 LLM을 활용한 단백질체학 데이터 분석 및 가설 생성의 완전 자동화를 성공적으로 구현한 혁신적 시스템이며, 포괄적 평가를 통해 신뢰성과 참신성을 입증했다. 다만 생성된 가설의 실험적 검증, 더 다양한 생물학적 영역으로의 확장, 그리고 기술적 세부사항의 투명성 개선이 필요하다.

 *ChemGymRL 시뮬레이션: (a) 반응(RxN), 추출(ExT), 증류(DiT) 벤치에서 작동하는 에이전트; (b) 용기 내 재료의 상태 추적 및 벤치 간 이동* 본 논문은 자동화 화학 실험실(automated chemistry lab)을 위한 강화학습(reinforcement learning, RL) 에이전트 훈련을 위한 오픈소스 시뮬레이션 환경 ChemGymRL을 제시한다. 이 프레임워크는 반응, 추출, 증류의 세 가지 상호연결된 화학 벤치를 구현하여 RL 알고리즘의 개발과 평가를 용이하게 한다.

ChemGymRL은 강화학습과 화학 발견을 연결하는 시의적절하고 모듈식의 시뮬레이션 플랫폼으로, 높은 확장성과 개방성으로 인해 화학-AI 연구 커뮤니티에 중요한 자산이 될 수 있다. 다만 현재의 단순화된 물리 모델과 RL 샘플 효율성 문제는 실제 응용 전 해결이 필요한 주요 과제이다.

 *그림 1: AI 에이전트를 통한 생의학 연구 역량 강화. AI 에이전트는 회의적 학습과 추론이 가능한 "AI 과학자"의 길을 열어줌* 본 논문은 생의학 발견을 가속화하기 위해 대규모 언어 모델(LLM), 기계 학습(ML) 도구, 실험 플랫폼을 통합한 AI 에이전트 시스템의 구성과 활용을 제시한다. 이는 인간 과학자를 배제하지 않고 AI의 데이터 분석 능력과 인간의 창의성을 결합한 협업 발견 체계이다.

본 논문은 생의학 발견을 위한 AI 에이전트 시스템의 비전과 설계 원칙을 제시하는 중요한 관점 문서로, 단백질 구조 예측 후 AI가 생의학 연구에 미칠 다음 단계의 변혁을 조망한다. 다만 개념 제시에 중점을 두어 실제 구현 프로토타입이나 실증 결과가 부재한 점이 주요 한계이다.

 *SciQAG 프레임워크: 과학 문헌으로부터 QA 생성 (점선은 선택적 미세조정)* 대규모 언어모델(LLM)을 활용하여 과학 논문으로부터 자동으로 고품질의 개방형 질의응답 쌍(188,042개 QA 쌍, 24개 과학 분야)을 생성하고, 세밀한 평가 지표(RACAR)로 품질을 필터링하는 SciQAG 프레임워크를 제안한다.

SciQAG는 폐쇄형 개방형 과학 QA 자동 생성의 실질적 해결책을 제시하며, 188K 규모의 다학제 데이터셋과 신뢰성 있는 평가 프레임워크를 제공하는 점에서 가치 있는 기여이다. 다만 생성 품질 보증의 근본적 한계와 평가 지표의 LLM 의존성에 대한 추가 검증이 필요하다.

 *그림 1: 에이전트 기반 자동 연구 프레임워크의 파이프라인* 본 논문은 대규모 언어 모델(LLM)과 다중 에이전트 협력을 활용하여 과학 연구의 전체 생명주기(문헌 검토부터 논문 확산까지)를 자동화하는 구조화된 프레임워크인 '자동 연구(Auto Research)'를 제시한다. 이는 연구 과정의 파편화, 방법론적 전문성의 불균형, 인지 부하 증가 등의 문제를 해결하기 위한 체계적이고 확장 가능한 접근 방식을 제안한다.

본 논문은 LLM 기반 다중 에이전트 시스템으로 과학 연구의 완전한 자동화를 추구하는 야심찬 비전을 제시하며, 연구 민주화와 프로세스 최적화 측면에서 기여도가 있다. 그러나 프레임워크의 개념적 설계에 비해 실제 구현 검증과 기술적 깊이가 부족하며, 다양한 학문 분야로의 적용 가능성과 질 관리 메커니즘에 대한 심화된 논의가 필요하다.

차트 이미지에서 직접 생성한 시각적 명령어 데이터로 학습한 멀티모달 모델로, 기존 데이터 테이블 의존성을 제거하고 강력한 비전-언어 백본(PaliGemma)을 활용하여 실제 차트 이해와 추론에서 최고 성능을 달성했다.

ChartGemma는 차트 이해 문제의 핵심인 시각적 정보 포착과 강한 모델 정렬에 효과적으로 대응하며, 기존 데이터 테이블 의존 방식의 한계를 극복한 실용적이고 우수한 연구로, 재현성 공개를 통해 학계에 의미 있는 기여를 한다.

 *본 논문의 프레임워크 구성: (1) 키워드 및 임베딩 기반 검색, (2) LLM 기반 재순위화, (3) 문헌 리뷰 생성, (4) 계획 기반 최적화* 본 논문은 LLM(Large Language Model)을 활용하여 학술 논문의 문헌 리뷰 작성을 자동화하는 방법을 제시한다. 논문 초록을 입력으로 관련 연구를 검색하고 이를 바탕으로 문헌 리뷰 섹션을 생성하는 두 단계 프로세스를 제안하며, 계획 기반 접근으로 환각(hallucination) 감소를 달성한다.

본 논문은 LLM 기반 문헌 리뷰 생성을 실질적으로 개선하기 위해 문제를 체계적으로 분해하고, 검색과 생성 각 단계에서 창의적인 해법을 제시한 우수한 연구이다. 특히 속성 기반 재순위화와 계획 기반 생성으로 환각 감소를 달성한 점과 테스트 세트 오염을 방지하는 평가 프로토콜을 제공한 점이 학계에 큰 기여를 한다.

 *Figure 1: (a) MedAgentGym의 과제별 성능과 (b) 전체 리더보드 평가. 상용 LLM과 오픈소스 LLM 간 상당한 성능 격차를 시각화함* 본 논문은 생의학 데이터 과학(biomedical data science)에서 코드 기반 추론 능력을 강화하기 위한 확장 가능한 LLM 에이전트 훈련 환경인 MedAgentGym을 제시한다. 72,413개의 과제 인스턴스와 실행 가능한 샌드박스 환경을 통해 오픈소스 LLM들의 생의학 코딩 역량을 대폭 향상시킬 수 있음을 입증한다.

MedAgentGym은 생의학 데이터 과학 분야에서 코드 기반 추론을 위한 최초의 포괄적이고 실행 가능한 훈련 환경으로, 대규모 통합 벤치마크, 효과적인 RL 훈련 방법론, 그리고 공개된 리소스를 통해 오픈소스 LLM의 의료 도메인 적응에

 *PaSa 시스템 아키텍처: Crawler와 Selector 두 개의 LLM 에이전트로 구성* PaSa는 복잡한 학술 논문 검색을 자동으로 수행하는 LLM 기반 에이전트로, 검색 도구 활용, 논문 읽기, 인용 네트워크 탐색을 통해 종합적이고 정확한 검색 결과를 제공한다. 합성 데이터(AutoScholarQuery)로 학습했음에도 실제 환경(RealScholarQuery)에서 Google Scholar 및 GPT-4o 기반 방법들을 크게 능가한다.

PaSa는 LLM 에이전트를 활용한 학술 논문 검색 문제의 창의적인 해법이며, 합성 데이터로의 학습이 실제 환경에서 우수한 성능을 달성하는 점이 주목할 만하다. 다만 데이터의 도메인 편향성과 평가 규모의 제한이 일반화 가능성에 대한 의문을 남긴다.

본 논문은 최근 NLP 논문들의 알고리즘 설명으로부터 코드를 생성하는 대형언어모델(LLM)의 능력을 평가하는 **SciReplicate-Bench** 벤치마크를 제안한다. 2024년 발표된 36개 NLP 논문의 100개 작업으로 구성되며, 알고리즘 이해와 코드 구현 두 가지 핵심 역량을 평가하는 신규 평가지표(reasoning graph accuracy)를 도입한다.

SciReplicate-Bench는 과학 논문 기반 알고리즘 재현이라는 중요하면서도 미탐사 영역에 첫 벤치마크를 제시하여 의의 있으나, reasoning graph 검증 방법론의 엄밀성 강화와 벤치마크 규모 확대가 필요하다.

 *Figure 1: 문헌 탐색에서 출판 준비까지 완전 자동화된 과학 혁신 파이프라인의 종단 간 아키텍처* 본 논문은 대규모 언어 모델(LLM)의 추론 능력을 활용하여 문헌 검토, 가설 생성, 알고리즘 구현, 논문 작성까지 전체 연구 파이프라인을 자동화하는 AI-Researcher 시스템을 제안하고, 이를 평가하기 위한 Scientist-Bench 벤치마크를 개발했다.

AI-Researcher는 LLM 기반 자율 과학 연구의 새로운 경계를 개척하는 야심차고 흥미로운 시도이며, 특히 Scientist-Bench는 향후 자율 과학 에이전트 평가의 중요한 기준이 될 수 있으나, 보다 광범위한 데이터셋 검증과 실제 학술 커뮤니티로부터의 확인이 필수적으로 요구된다.

 *반복적 훈련 프레임워크: CycleResearcher가 논문을 생성하고 CycleReviewer가 평가하여 선호도 쌍을 구성한 후 정책을 최적화하는 사이클* 본 논문은 오픈소스 LLM을 활용하여 논문 작성, 동료 검토, 수정의 전체 연구 사이클을 자동화하는 통합 프레임워크를 제안한다. CycleReviewer가 인간 리뷰어보다 26.89% 더 우수한 성능을 보이며, CycleResearcher가 생성한 논문이 인간 전문가 수준(5.36점)에 근접하는 성과를 달성했다.

본 논문은 오픈소스 LLM으로 전체 연구 수행-동료 검토-수정 사이클을 자동화하는 야심찬 시도로, CycleReviewer가 인간 리뷰어를 초과하는 성과와 대규모 고품질 데이터셋의 공개는 큰 기여이다. 다만 실험 검증의 시뮬레이션 성격, 도메인 일반화의 미흡, 그리고 학술 윤리 문제의 불완전한 처리가 지적되며, 이들이 해결될 경우 과학 자동화 분야에서 중요한 이정표가 될 가능성이 높다.

 *Human-in-the-loop Idea Generation with Monte-Carlo-Tree-Search* LLM의 자동화 능력을 활용하면서도 연구자의 투명한 제어와 감시를 가능하게 하는 인터랙티브 연구 아이디어 생성 시스템 IRIS를 제안하며, Monte Carlo Tree Search(MCTS) 기반의 적응형 탐색과 세분화된 피드백 메커니즘을 통해 과학적 가설 생성을 가속화한다.

IRIS는 LLM 기반 과학적 발견 가속화라는 중요한 과제에서 완전 자동화의 함정을 인식하고 투명성과 조정 가능성을 갖춘 HITL 시스템으로 실질적 해결책을 제시한다. 세분화된 피드백과 MCTS 기반 탐색은 기술적으로 창의적이며, 오픈소스 공개는 높이 평가되나, 사용자 연구의 범위 확대와 다양한 학문 영역에서의 검증이 더 필요하다.

 *NSF 주요 지원 분야별 분포: 재료과학(3.9%), 수학물리과학(16.5%), 지구과학(13.8%) 등* NSF(미국 국립과학재단) 지원금 데이터베이스에서 과학적 주장(scientific claims)과 연구 제안(investigation proposals)을 대규모로 추출한 데이터셋 NSF-SCIFY를 제시한다. 1970년부터 2024년까지 50년간 400K개 이상의 지원금 초록에서 추정 280만 개의 과학적 주장을 추출하여 현재까지 가장 큰 규모의 과학적 주장 데이터셋을 구축했다.

NSF-SCIFY는 지원금 제안서라는 새로운 출처로부터 규모 면에서 획기적인 과학적 주장 데이터셋을 구축했으며, 주장과 연구 제안의 구분 추출이라는 새로운 과제를 정의함으로써 과학 검증 및 메타과학 연구에 중요한 자산을 제공한다. 다만 LLM 기반 추출과 평가의 신뢰성 검증이 더욱 강화될 필요가 있다.

 *학술 논문을 다양한 형식(슬라이드, 포스터, 비디오, 웹사이트, AI 어시스턴트)으로 변환하는 통합 플랫폼의 일부로서 Paper2Web 위치* 학술 논문을 정적인 PDF 형식에서 벗어나 대화형(interactive) 멀티미디어 웹사이트로 변환하는 작업을 새롭게 정의하고, 이를 위한 벤치마크 데이터셋과 평가 프레임워크를 제시한다. 제안된 PWAgent는 반복적 개선을 통해 기존 방법들을 큰 폭으로 능가한다.

Paper2Web은 학술 논문의 웹기반 공유라는 중요하면서도 미해결된 문제를 체계적으로 정의하고, 포괄적인 벤치마크 데이터셋과 다차원 평가 프레임워크를 제공한다는 점에서 상당한 가치가 있다. PWAgent의 성능 개선도 인상적이나, 기술적 독창성 측면에서는 기존 방법들의 조합 수준이므로 전체적으로는 높은 수준의 실질적 기여를 하는 작업으로 평가된다.

본 논문은 대규모 언어모델(LLM)을 시뮬레이션된 클라이언트로 활용하여 LLM 치료사를 클라이언트 중심의 관점에서 평가하는 **ClientCAST** 프레임워크를 제안한다. 의료교육의 표준화된 환자(standardized patient) 방식을 LLM 기반으로 확장함으로써 윤리적·기술적 도전과제를 해결한다.

본 논문은 LLM 기반 치료사 평가를 클라이언트 관점으로 전환한 창의적인 접근으로, 윤리적·실용적 문제를 LLM 기반 시뮬레이션으로 해결한 점이 주목할 만하다. 다만 시뮬레이션 정확도의 한계와 인간 평가자와의 검증 부족이 향후 과제로 남아있다.

 *Chartist가 다양한 분석 작업(값 검색, 필터링, 극값 찾기)에 걸쳐 작업 중심적 스캔패스를 예측하는 방식을 보여주는 예시* 본 논문은 차트 읽기 시 사용자의 작업별 안구 움직임 패턴(스캔패스)을 예측하는 첫 번째 계산 모델인 Chartist를 제시한다. 계층적 제어 아키텍처(LLM 기반 인지 제어기와 강화학습 기반 안구운동 제어기)를 통해 값 검색, 필터링, 극값 찾기와 같은 분석 작업을 수행할 때 인간과 유사한 시선 순서를 생성한다.

Chartist는 차트 읽기에서 작업 중심의 안구 움직임을 예측하는 첫 계산 모델로, 계층적 제어 아키텍처를 통해 새로운 접근을 제시한다. 기술적으로 타당하고 인간 유사성이 우수하나, 일반화 가능성과 예측 정확도 측면의 한계가 있으며, 세부 기술 설명과 광범위한 평가가 필요하다. 정보 시각화 분야에 의미 있는 기여를 하면서도 실제 응용을 위해서는 추가 개선이 요구된다.

본 논문은 대규모 언어모델(LLM) 기반 AI 시스템의 메모리 메커니즘을 인간의 기억 체계와 비교 분석하여, 객체(personal/system), 형태(parametric/non-parametric), 시간(short-term/long-term) 3개 차원의 8개 사분면 분류 체계를 제시하는 종합 리뷰 논문이다.

본 논문은 LLM 시대의 메모리 메커니즘을 인간 기억과 연결하며 다차원 분류 체계를 제시하여, 메모리 강화 AI 시스템 연구에 유용한 개념적 틀과 연구 의제를 제공하는 가치 있는 리뷰 논문이다. 다만 실증적 벤치마킹과 형식적 모델링을 추가하면 더욱 강화될 수 있을 것으로 판단된다.

 *GoAI 프레임워크 개요: 문헌 검색 및 필터링 → 지식 그래프 구성 → 경로 생성 → 경로 일관성 검증의 4단계* 본 논문은 지식 그래프(Knowledge Graph)와 대형 언어모델(LLM)을 활용하여 AI 학생들의 개인화된 학습 경로를 제시하고 연구 아이디어 생성을 지원하는 GoAI 시스템을 제안한다. 이는 빠르게 확장되는 AI 문헌의 바다에서 학생들이 겪는 "정보-혁신 간극"을 해소한다.

GoAI는 지식 그래프의 구조화된 표현과 LLM의 추론 능력을 활용하여 AI 학생들의 개인화된 학습 경로 계획과 창의적 아이디어 생성을 동시에 지원하는 실용적이고 교육학적으로 의미 있는 시스템이다. 다만 의미론적 인용 분류의 자동화, 평가 신뢰도 검증, 타 분야 확장성에 대한 보완이 필요하다.

 *Figure 1: 일반적인 검색(상)은 의미론적 유사성만으로 비관련 논문을 검색하지만, 제안 방법(하)은 방법론적 영감을 포착* 본 논문은 과학 연구 문제 해결을 위해 **방법론적 영감(Methodology Inspiration)을 줄 수 있는 선행 연구를 검색하는 새로운 과제(MIR)**를 정의하고, 인용 네트워크의 방법론적 계보를 포착하는 **방법론 인접 그래프(MAG)**를 활용하여 밀집 검색기(dense retriever)를 학습하는 기법을 제시한다.

본 논문은 과학 발견에서 방법론적 영감 검색의 중요성을 인식하고 이를 위한 새로운 과제, 데이터셋, 방법론을 체계적으로 제시했다는 점에서 의미가 있으나, 평가 도메인의 제한성과 금표준 정의의 애매함이 일반화 가능성에 대한 의문을 남긴다.

 *PaperRobot의 단계별 논문 작성 과정: 기존 논문 읽기 → 지식 그래프 구성 → 새로운 아이디어 예측 → 새로운 논문 작성* PaperRobot은 기존 생의학 논문에서 지식 그래프를 자동으로 구축하고, 링크 예측을 통해 새로운 과학적 아이디어를 생성한 후, 메모리-어텐션 네트워크로 제목, 초록, 결론을 순차적으로 작성하는 자동 연구 보조 시스템이다.

PaperRobot은 생의학 논문 자동 생성이라는 실제적 문제에 멀티모달 접근(그래프+텍스트)을 적용한 의욕적인 연구이며, Turing 테스트에서 인간과 경쟁할 수 있는 수준의 성과를 보였다. 다만 생성된 텍스트의 과학적 정확성 검증과 실제 활용도에 대한 심층 분석이 보완된다면 학술 출판 생태계에 실질적 기여를 할 수 있을 것으로 예상된다.

 *그림 1: 인간 연구 커뮤니티를 에이전트-데이터 그래프로 추상화. 연구자는 에이전트 노드, 논문은 데이터 노드로 표현* 본 논문은 대규모 언어 모델(LLM) 기반 멀티에이전트 프레임워크를 통해 인간 연구 커뮤니티를 시뮬레이션하는 RESEARCHTOWN을 제안한다. 연구 커뮤니티를 에이전트-데이터 그래프로 모델링하고 TextGNN이라는 텍스트 기반 메시지 전달 메커니즘을 통해 논문 작성, 리뷰 작성 등 협업 연구 활동을 동적으로 시뮬레이션한다.

본 논문은 LLM 기반 멀티에이전트 연구 커뮤니티 시뮬레이션이라는 야심찬 목표를 제시하고, 에이전트-데이터 그래프와 TextGNN이라는 새로운 프레임워크로 이를 구현한 의미 있는 연구다. 다만 평가 메트릭이 유사도 기반에 제한되어 생성 논문의 실제 학문적 가치를 온전히 포착하지 못하고, 대규모 확장성과 윤리적 문제에 대한 더 깊은 논의가 필요하다.

 *SCIMON의 파이프라인: 배경 맥락으로부터 문헌 기반 영감을 검색하고, 기존 연구와 반복적으로 비교하여 새로움(novelty)을 최적화하며 아이디어를 생성* 본 논문은 신경 언어 모델이 과학 문헌에 기반한 새로운 과학적 방향을 자동으로 생성할 수 있는 능력을 향상시키는 SCIMON 프레임워크를 제시한다. 기존의 이분 링크 예측 중심 접근과 달리, 자연언어 형태의 맥락화된 문제 기술(problem description)으로부터 새로운 과학적 아이디어를 생성하고 명시적으로 새로움을 최적화한다.

SCIMON은 과학적 아이디어 자동 생성이라는 중요한 문제에 대해 새로운 문제 설정과 구체적인 방법론을 제시한 선도적 연구이다. 특히 반복적 새로움 최적화와 다층 영감 검색은 창의적 기여이나, 평가 결과 기계 생성 아이디어가 실제 과학적 가치에 미치지 못한다는 발견은 인공지능의 과학 창의성에 대한 근본적 한계를 시사한다.

 *문헌 데이터베이스 구축 파이프라인. PDF 파서로 논문 섹션을 추출하고 LLM으로 요약한 후 임베딩으로 인코딩하여 데이터베이스에 저장* LLM 기반 과학 논문 아이디어 생성 시스템으로, 의미론적(semantic) 문헌 검색과 이중 경로(dual-path) 아이디어 생성을 통해 더욱 참신하고 실현 가능한 연구 아이디어를 제안한다. 기존의 키워드 기반 검색의 한계를 극복하고 전체 논문 내용을 활용한 통합적 아이디어 생성을 핵심으로 한다.

SciPIP는 LLM 기반 과학 아이디어 생성이라는 중요한 문제를 다층적으로 개선한 실용적인 시스템으로, 구조화된 문헌 데이터베이스와 다중 입도 검색, 이중 경로 생성이라는 세 가지 혁신을 통해 기존 방식 대비 눈에 띄는 성능 향상을 달성했다. 특히 공개 데이터베이스 제공과 체계적인 평가는 강점이나, LLM 의존성, 평가의 주관성, 실제 연구 영향 측정 미흡이 한계로 남아있다.

 *그림 2: 위치 불일치(Position Inconsistency) 개념 설명. 신뢰도(confidence)가 낮아도 위치 일관성이 높은 고품질 의사 레이블이 존재함을 보여줌* 반인체 포즈 추정을 위한 준지도학습(semi-supervised learning)에서 **위치 불일치 기반 의사 레이블 수정 모듈(SSPCM)**을 제안하여, 노이즈 의사 레이블을 효과적으로 제거하고 SOTA 성능을 달성한 연구이다.

준지도학습 기반 반인체 포즈 추정에서 위치 기반 의사 레이블 수정을 통해 실질적 성능 개선을 달성한 실용적인 연구이다. 특히 이질적인 teacher-student 구조 지원과 어안카메라 데이터셋 공개는 실제 응용 가치를 높이지만, 하이퍼파라미터 설정의 일반화 가능성에 대한 심화 분석이 필요하다.

 *대규모 언어모델이 연구논문을 읽고 미래 연구 아이디어를 제안하는 과정* 본 논문은 대규모 언어모델(LLM)이 과학 논문으로부터 새로운 미래 연구 아이디어를 생성할 수 있는지를 체계적으로 평가한다. 이를 위해 자동 평가 메트릭(IAScore, Idea Distinctness Index)을 제안하고 인간 평가를 병행하여 LLM의 아이디어 생성 능력과 한계를 분석한다.

본 논문은 LLM의 아이디어 생성 능력을 체계적으로 평가하기 위한 첫 시도로 의의가 있으나, 제안된 IAScore의 근본적 한계(저자 아이디어와의 정렬도만 측정)로 인해 완전한 평가 프레임워크로 보기 어렵다. 다양한 도메인에 걸친 광범위한 인간 평가와 더불어 진정한 참신성을 감지할 수 있는 개선된 메트릭 개발이 필요하다.

 *ResearchCodeAgent 시스템 아키텍처: (a) 계획(Planning), 연구 로그(Research Logs), 워커(Workers), 환경(Environment), (b) LLM 캐스케이드를 포함한 계획 메커니즘, (c) 전문가 호출 및 워커 구조* 연구 논문에 기술된 머신러닝 방법론을 자동으로 코드로 변환하는 다중 에이전트 LLM 시스템을 제시한다. 상위 레벨의 추상적인 연구 설명과 실제 실행 가능한 구현 간의 격차를 해소하여 연구자의 구현 시간을 단축한다.

ResearchCodeAgent는 머신러닝 연구의 구현 자동화라는 실용적 문제에 처음 정면으로 도전한 점과 45%대의 성공률에서 가능성을 보여줍니다. 다만 평가 범위의 협소함, 통계적 검증 부재, 그리고 여전히 높은 수정 필요율(34%)은 실제 배포 전 강화가 필요함을 시사합니다. 워크숍 논문으로서의 가치는 충분하지만, AI4Research 커뮤니티의 구체적 피드백과 추가 실험을 통한 정교화가 권장됩니다.

 *Figure 1: CL for SRAI의 분류체계. 파란 사각형은 SRAI에 일반적으로 사용되는 4가지 인과학습 도구를 나타냄* 본 논문은 AI의 사회적 책임성(Social Responsibility)을 강화하기 위해 인과학습(Causal Learning, CL)의 7가지 도구를 체계적으로 분석하고, 편향 완화, 공정성, 투명성, 일반화 가능성 등 주요 SRAI 과제에 적용하는 방법론을 제시한다.

 *Figure 2: 전체 프레임워크 다이어그램 - (a) 라이브러리 강화 추론과 (b) 라이브러리 구축* 대규모 언어 모델(LLM)의 화학 추론 능력을 향상시키기 위해 동적으로 업데이트되는 자체 학습 라이브러리 시스템을 제안한다. 계획 메모리, 실행 메모리, 지식 메모리의 세 가지 메모리 구성요소를 통해 문제를 분해하고 과거 경험을 활용하여 정확도를 최대 46% 향상시킨다.

ChemAgent는 화학 추론 작업에서 동적 자체 학습 라이브러리를 통해 LLM의 성능을 획기적으로 향상시킨 의미 있는 연구이며, 특히 인지과학에 영감을 받은 삼층 메모리 구조의 통합적 설계가 돋보인다. 다만 메모리 관리, 검색 효율성, 다양한 도메인에 대한 일반화 가능성에 대한 추가 연구가 필요하다.

 *분자 구조 해석을 제약 만족 문제(CSP)로 표현* 본 논문은 화학 구조 해석 작업을 동적 다중 턴 에이전트 평가 벤치마크로 재정의한 MolQuest를 제안한다. 정적 QA 형식의 기존 과학 벤치마크의 한계를 극복하기 위해, 실제 화학 문헌 데이터 기반의 상호작용적 환경에서 LLM의 귀추적 추론(abductive reasoning) 및 전략적 의사결정 능력을 평가한다.

MolQuest는 기존의 정적 QA 기반 과학 벤치마크의 근본적 한계를 인식하고, 실제 과학 연구의 동적·상호작용적 특성을 충실히 반영한 혁신적 평가 프레임워크를 제시한다. 특히 인루프 데이터 구성과 실제 문헌 기반 데이터 활용으로 높은 신뢰성을 확보했으며, SOTA 모델들의 심각한 성능 격차 발견은 AI for Science 연구의 중요한 방향을 제시한다. 다만 저성능의 원인 분석 심화와 벤치마크 규모에 대한 상세 기술이 추가되면 더욱 완성도 높은 논문이 될 것으로 예상된다.

 *Figure 1: BioMaze 작업 및 추론 방법의 설명. 생물학적 경로 그래프 데이터 지원 유무에 따른 추론 방식 비교* 본 논문은 생물학적 경로(biological pathway) 추론 능력을 평가하기 위한 BioMaze 벤치마크를 제시하고, LLMs의 경로 추론 한계를 보완하기 위해 PathSeeker라는 에이전트 기반 방법을 제안한다. 이를 통해 복잡한 생물학적 시스템에서의 다단계 인과 추론 문제를 해결한다.

본 논문은 생물학적 경로 추론이라는 미개척 분야에서 대규모 고품질 벤치마크를 제공하고 LLMs의 실질적 한계를 규명했다는 점에서 매우 가치있다. 특히 실제 연구 문헌 기반의 5.1K 문제와 체계적 분류 체계는 학계에 중요한 자산이 될 것이다. 다만 제안된 PathSeeker 방법의 구체적 구현과 성능 개선 효과에 대한 더욱 상세한 실험 결과 제시가 논문의 완성도를 높일 것으로 판단된다.

 *그림 1: 자연 이미지와 과학 논문 그림의 텍스트-이미지 정렬 작업 비교. 과학 그림의 텍스트-정렬 작업은 각 모듈 요소를 파싱하고, 텍스트를 정렬하며, 정렬되지 않은 요소를 식별하는 것을 요구함.* 본 연구는 과학 논문의 그림에서 텍스트와 시각 요소의 세밀한 정렬을 위한 새로운 작업인 "Figure Integrity Verification"을 제안하며, 이를 지원하기 위해 Figure-seg 데이터셋과 Every Part Matters (EPM) 프레임워크를 개발했다. 이는 복잡한 도메인-특화 과학 그림의 이해와 검증을 크게 개선한다.

본 논문은 과학 그림의 세밀한 텍스트-정렬 분석이라는 미충족 연구 공백을 명확하게 정의하고, 새로운 작업, 고품질 데이터셋, 효과적인 MLLM 프레임워크를 통해 체계적으로 해결함으로써 멀티모달 이해 분야의 실질적인 기여를 제공한다. 다만 도메인-특화 적응성과 계산 효율성 개선이 실제 응용의 관건이 될 것이다.

 *그림 1: 에피지노믹 신호, DNA 서열, 유전자 발현 Y 및 관련 조절 요소 간의 인과관계* 본 논문은 DNA 서열과 에피지노믹 신호로부터 유전자 발현을 예측하되, 능동적으로 상호작용하는 조절 요소(regulatory elements)를 자동으로 발견하는 **Seq2Exp** 프레임워크를 제안한다. 정보 병목(information bottleneck) 원리를 활용하여 인과적 조절 요소만을 추출함으로써 기존 방법들을 능가하는 성능을 달성한다.

본 논문은 인과관계 기반의 명확한 문제 정의와 정보 병목 기법의 효과적인 응용으로 유전자 발현 예측에서 의미 있는 진전을 이루었으며, ICLR 2025 게재작으로서 생물정보학과 머신러닝의 교차점에서 실질적 기여를 하고 있다.

 *Figure 1: SciKnowEval의 전체 구조. (a) 4개 과학 영역, (b) 다양한 데이터 소스, (c) 4가지 질문 유형, (d) 5단계 진행적 지식 수준별 예제, (e) 영역 및 수준별 질문 분포* 본 논문은 대규모 언어모델(LLM)의 과학 지식을 5단계(기억, 이해, 추론, 판별, 적용)로 체계적으로 평가하는 28K 규모의 종합 벤치마크 데이터셋 SciKnowEval을 제안한다. 생물학, 화학, 물리학, 재료과학 4개 영역에서 LLM의 과학적 역량을 다층적으로 진단하고 20개 모델을 평가하여 개선의 필요성을 제시한다.

SciKnowEval은 기존 벤치마크의 한계를 명확히 인식하고 철학적 기초를 갖춘 체계적인 5단계 평가 프레임워크를 제시하며, 28K 규모의 다양한 고품질 데이터셋을 구축하여 과학 LLM 평가의 새로운 표준을 제안한다는 점에서 의의가 크다. 특히 과학 윤리와 안전성 평가를 명시적으로 포함한 점이 실용적 가치를 높인다. 다만 자동 생성 데이터의 검증 비율 명시, 고난도 문제 비율 확충, 주관식 평가의 정성적 메트릭 강화가 필요하다.

생물분자(단백질, 분자)의 구조 정보와 자연언어 텍스트 데이터를 통합하는 다중모달 학습 방법론을 종합적으로 조사한 논문으로, AI-화학-생물학의 교차 분야에서 생물분자 표현의 새로운 패러다임을 제시한다.

본 논문은 급속도로 성장하는 생물분자-자연언어 통합 학습 분야에서 첫번째 체계적 리뷰를 제공하며, 명확한 분류체계와 이중 목표 분석 틀로 학제 간 연구자들에게 유용한 나침반 역할을 한다. 다만 개별 방법론에 대한 심화 비교 분석과 실제 생물학적 검증 통합이 강화되면 더욱 임팩트 있는 리뷰가 될 수 있다.

 *그림 1: 랭킹 전략의 개요. 사전 실험 랭킹(pre-experiment ranking)은 피드백이 없으며, 실제 실험 기반 랭킹은 상태 의존적이지만 확장 불가능하고, 시뮬레이터 기반 접근은 신속하고 확장 가능함* 본 논문은 자동 과학 발견(automated scientific discovery)에서 가설 순위 지정(hypothesis ranking)을 위해 **시뮬레이션된 실험 피드백(simulated experimental feedback)**을 활용하는 새로운 과제를 제안한다. 실험실 실험이 비싸고 처리량이 제한적인 자연과학 영역에서, 실제 실험을 반복 수행하지 않으면서도 실험 기반 순위 지정 정책을 개발할 수 있는 고충실도(high-fidelity) 시뮬레이터와 맥락 내 강화학습(in-context reinforcement learning, ICRL) 프레임워크를 제시한다.

본 논문은 실험 피드백의 불가용성이라는 자동 과학 발견의 핵심 병목을 창의적으로 인식하고, 원리적으로 타당한 시뮬레이터 설계와 함께 동작하는 ICRL 정책을 제시한다. 공개된 데이터셋과 재현 가능한 프레임워크는 커뮤니티에 즉각적인 기여를 제공할 것으로 판단되나, 시뮬레이터의 가우시안 가정과 A1의 현실적 한계에 대한 보완과 더 광범위한 도메인 검증이 필요하다.

 *Mat2Seq의 파이프라인: 3D 결정 구조를 Niggli 셀 축약과 원시 단위 셀 결정을 거쳐 고유한 1D 수열로 변환* 본 연구는 3D 결정 구조(crystal structure)를 언어 모델(LM)이 처리 가능한 1D 수열로 변환하되, SE(3) 불변성과 주기성 불변성을 보장하는 **Mat2Seq** 방법을 제안한다. 이를 통해 동일한 결정에 대해 고유한 수열 표현을 생성하여 언어 모델 기반의 신규 결정 물질 생성을 가능하게 한다.

Mat2Seq은 결정 물질의 언어 모델 기반 생성이라는 새로운 분야에서 불변성과 고유성의 근본적 수학적 문제를 처음으로 체계적으로 정의하고 해결하는 의미 있는 기여를 한다. Niggli 셀 축약을 활용한 접근은 우아하고 이론적으로 견고하며, 데이터 증강 제거라는 실질적 이점을 제공한다. 다만 구체적 알고리즘 상세도 및 광범위한 생성 성능 비교 실험 보강이 있으면 영향력 있는 표준 방법론으로 자리 잡을 수 있을 것으로 예상된다.

대규모 언어 모델(LLM)과 화학정보학 도구를 통합한 CACTUS라는 지능형 에이전트를 개발하여, 약물 설계 및 분자 발견 업무에서 기존 LLM의 성능을 대폭 향상시켰다. 오픈소스 LLM 5개 모델의 벤치마킹을 통해 도메인 특화 프롬프트 엔지니어링의 중요성을 입증했다.

CACTUS는 LLM과 화학정보학 도구의 통합을 통해 약물 설계 및 분자 발견 분야에서 의미 있는 진전을 이루었으며, 오픈소스 기반 접근성과 확장 가능한 아키텍처로 실제 과학 연구에 즉시 적용 가능한 가치를 제공하나, 입력 형식 제한과 추론 정확성 문제에 대한 개선이 필요하다.

국제수학올림피아드(IMO) 수준의 149개 형식적 수학 문제와 자연언어 증명을 포함한 FIMO 데이터셋을 제시하며, 대규모언어모델(LLM)의 자동정리증명(Automated Theorem Proving, ATP) 능력이 IMO 수준에서 여전히 부족함을 보여준다.

FIMO는 IMO 수준의 형식수학 벤치마크를 제공하는 가치 있는 데이터셋이지만, 기하/조합론 미포함 및 제한된 모델 평가를 보완하면 더욱 강력한 기여가 가능하다.

 *그림 1: LLM 기반 과학 에이전트의 전형적인 아키텍처* 본 논문은 가설 생성, 실험 설계, 데이터 분석 등 과학적 발견 전 과정을 자동화하는 LLM 기반 과학 에이전트(Scientific Agent)의 아키텍처, 설계, 벤치마크, 응용, 윤리적 고려사항을 포괄적으로 검토한 서베이 논문이다. 일반 목적의 LLM과 달리 도메인 특화 지식, 고급 도구 집합, 강건한 검증 메커니즘을 통합하여 재현성 있는 과학적 발견을 주도한다.

본 논문은 LLM 기반 과학 에이전트에 대한 첫 체계적 메커니즘 중심 분석을 제공하며, 120+ 논문과 40+ 벤치마크를 정리한 포괄적 자원으로서의 가치가 크다. 다만 제공된 본문에서는 아키텍처 개요만 다루어 Memory, Action Space, Verifier, Benchmarks, Applications, Ethics에 대한 실질적 내용이 부족하며, 실증적 성능 비교와 도메인 간 전이 가능성에 대한 정량적 평가가 필요하다. 완성된 서베이로서는 높은 참고 가치를 가질 것으로 예상되나, 현재 제시된 본문만으로는 메커니즘 분류의 명확성과 실용적 설계 가이드라인에 주로 의존한다.

 *그림 2: 이중 에이전트 도구 호출 프로세스* 본 논문은 LLM(대규모 언어 모델)을 에너지·발전 공학 영역의 실제 문제 해결에 활용하기 위해 ReAct 프롬프팅과 도구 호출 메커니즘을 결합한 도메인 특화 프레임워크를 제시한다. 가스터빈의 가스 경로 분석(gas path analysis)을 사례로 하여 다양한 규모의 LLM들의 능력과 한계를 체계적으로 평가한다.

본 논문은 LLM을 물리 기반 도메인 문제에 체계적으로 적용한 의미 있는 사례 연구로, 도메인 특화 프레임워크의 설계와 모델 규모별 성능 평가에 기여한다. 다만 현재는 정성적 관찰 중심이며, 통계적 검증과 실제 산업 데이터를 통한 검증이 추가되면 영향력을 크게 확대할 수 있을 것으로 판단된다.

 *그림 1: 논문에서 다루는 과학 연구 파이프라인의 체계적 개요. 순환 과정은 과학적 가설 발견, 실험 계획 및 실행, 논문 작성, 논문 심사로 구성됨* 대규모 언어 모델(LLM)이 과학 연구의 전 주기(가설 발견, 실험 계획, 논문 작성, 동료 심사)에 어떻게 적용되고 있는지를 최초로 체계적으로 분석한 종합 서베이이다. 이 논문은 각 연구 단계별 LLM의 독특한 역할, 과제별 방법론, 평가 벤치마크를 종합적으로 정리한다.

이 서베이는 급속히 발전하는 LLM 기술이 과학 연구의 모든 단계에 어떻게 혁신을 가져오고 있는지를 최초로 체계적으로 정리한 중요한 작업이다. 100개 이상의 관련 시스템을 분석하고 4개 영역별로 상세히 분류하여, 연구자들이 LLM을 자신의 연구에 실제로 활용할 수 있도록 실질적 로드맵을 제공한다. 다만 LLM의 과학적 정확성 검증 메커니즘, 도메인별 특화 평가 기준의 부족, 인간-AI 협력에 대한 깊이 있는 논의가 보강되면 더욱 완성도 높은 가이드가 될 것으로 기대된다.

 *주요 특성별 주효과(Main Effects) 재현율 비교* 대규모 심리학 실험 156개를 GPT-4, Claude 3.5 Sonnet, DeepSeek v3 등 3개의 최신 LLM으로 재현한 결과, LLM은 주효과 73-81%의 높은 재현율을 보이지만 인종, 성별 등 사회적으로 민감한 주제에서는 현저히 낮은 성과를 보였으며, 효과크기가 인간 연구보다 2-3배 크다는 체계적 편차를 드러냈다.

이 논문은 AI 시대 사회과학 연구 방법론의 중대한 전환점을 다룬 가치 있는 대규모 실증 연구이다. LLM의 가능성과 한계를 명확하게 규명하고, 특히 사회적으로 민감한 주제에서의 체계적 편차를 입증함으로써 "LLM이 인간을 완전히 대체할 수 없다"는 중요한 결론을 제시한다. 다만 빠르게 진화하는 LLM 기술에 대응하기 위해 지속적 모니터링과 미세 조정(fine-tuning) 전략에 대한 후속 연구가 필요하다.

본 논문은 제한된 샘플 크기 조건에서 대규모언어모델(LLM)을 평가하기 위해 베이지안 추론을 활용한 새로운 방법론을 제시한다. 사전지식(Prior Knowledge)을 통합하여 모델 간 순위를 확률적으로 추정하며, 결정론적 메트릭의 한계를 극복한다.

본 논문은 LLM 평가의 근본적 도전(소량 샘플, 질문 난이도 편차)을 베이지안 확률 프레임워크로 우아하게 해결한 견고한 연구다. 실제 배포 환경에서의 적용 가치가 높으나, 핵심 가정들(독립성, 선형성, 구간 균등성)에 대한 경험적 검증이 더 필요하며 더 다양한 모델 계열과의 교차 검증을 통해 일반화 가능성을 확인해야 한다.

대규모 언어 모델(LLM)을 이용하여 경제학 문헌의 현장 실험(field experiment) 결과를 자동으로 예측하는 프레임워크를 제안하고, 276개 실험에서 78%의 예측 정확도를 달성했다.

현장 실험 예측이라는 새로운 도메인으로 LLM 시뮬레이션을 확장하고 대규모 자동화 평가를 통해 실질적 적용 가능성을 보였으나, LLM의 근본적 한계(복잡한 사회 이슈 처리 부족)가 명확하여 실무 적용 시 주의가 필요한 연구이다.

 *TruthHypo 벤치마크 개요: 데이터셋 구성, 작업 수식화, 진실성 평가를 포함* 대규모 언어 모델(LLM)의 생의학 가설 생성 능력을 평가하기 위해 TruthHypo 벤치마크와 KnowHD 할루시네이션 탐지 프레임워크를 제안했으며, LLM이 진실한 가설 생성에서 상당한 어려움을 겪음을 입증하고 지식 기반 접지(groundedness) 점수를 통한 검증 방법을 제시했다.

본 논문은 LLM 기반 과학 가설 생성의 신뢰성 평가라는 중요한 문제를 체계적으로 다루었으며, 실용적 벤치마크와 할루시네이션 탐지 프레임워크를 제시한 고가치 연구이다. 다만 평가 범위 확대와 KnowHD의 자동화 정도 개선이 향후 과제이다.

 *KG-CoI 시스템의 개요: KG 기반 맥락 검색, KG 증강 아이디어 체인 생성, KG 기반 환각 감지 모듈로 구성* LLM의 과학적 가설 생성 능력을 지식 그래프(Knowledge Graph)의 구조화된 정보와 통합하여 향상시키고, 생성 과정의 환각(hallucination)을 감지 및 완화하는 KG-CoI 시스템을 제안한다.

KG-CoI는 LLM의 과학적 가설 생성 능력을 향상시키기 위해 지식 그래프를 체계적으로 통합한 참신한 접근법을 제시하며, 특히 환각 탐지 모듈과 새로운 평가 데이터셋은 과학 AI 분야에 실질적 기여를 한다. 다만 생물의학 영역에 국한된 평가와 다른 도메인으로의 일반화 가능성 검증이 필요하다.

 *AstroAgents는 8개의 협력 에이전트로 구성된 다중 에이전트 시스템으로, 질량 분석(Mass Spectrometry) 데이터로부터 천문생물학적 가설을 생성하고 평가한다.* 본 논문은 대규모 언어 모델(LLM) 기반의 다중 에이전트 AI 시스템인 AstroAgents를 제시하여, 운석과 토양 샘플의 질량 분석 데이터로부터 생명의 기원에 관한 과학적 가설을 자동 생성한다. 8개의 전문화된 에이전트의 협력을 통해 데이터 해석, 가설 생성, 문헌 검토, 비판적 평가의 전체 파이프라인을 구현했다.

AstroAgents는 천문생물학 분야에 다중 에이전트 AI 시스템을 처음 적용한 창의적 연구로, 36% 타당성과 66% 새로움이라는 실증적 성과를 보여주었으나, 평가 데이터셋 규모, 단일 평가자 편향, 모델 의존성 등 방법론적 한계가 있다. 향후 실험적 검증 및 더 큰 규모의 다양한 샘플 데이터 적용을 통해 실용성을 강화할 필요가 있다.

대규모 언어모델(LLM)의 가설 생성(Hypothesis Generation) 능력을 체계적으로 평가하기 위해 7개의 실제 과제와 5개의 합성 과제로 구성된 194개 데이터셋을 포함하는 벤치마크 HypoBench를 제시한다. 합성 데이터셋에서 난이도 증가에 따라 성능이 급격히 저하되는 점(최고 38.8% 회복율)을 통해 현존 가설 생성 방법의 상당한 개선 여지를 드러낸다.

HypoBench는 가설 생성 분야의 첫 체계적 벤치마크로서, 명확한 문제 정의와 194개 데이터셋의 방대한 규모에서 큰 가치를 지닌다. 특히 난이도 제어 가능한 합성 데이터를 통해 현존 방법(38.8% HDR)의 한계를 정량화한 점은 향후 연구에 명확한 방향성을 제시한다. 다만 실제 데이터의 그라운드 트루스 부재와 흥미로움 지표의 미완성이 평가의 완전성을 제약하므로, 후속 개선과 확장이 기대된다.

 *CIBER 시스템 아키텍처: 다중 측면 심문(MAI), 응답 해석(RR), 판정 및 신뢰도(V&C) 모듈로 구성* CIBER는 검색 증강 생성(RAG) 프레임워크를 확장하여 과학적 주장(claim)을 검증하기 위해 지지 증거와 반박 증거를 체계적으로 식별하고 검색하는 프레임워크이다. 다양한 질문 프로브(probe)를 통해 LLM의 응답 일관성을 평가함으로써 환각(hallucination) 문제를 완화한다.

CIBER는 RAG의 생성 단계에 초점을 맞춰 다중 측면 심문을 통해 LLM 응답의 신뢰성을 체계적으로 평가하는 혁신적 프레임워크로, 과학적 주장 검증과 같은 고신뢰도 응용에서 실질적 가치를 제공한다. 다만 대규모 실제 데이터에서의 광범위한 검증과 계산 비용 최적화, 설명가능성 강화가 향후 과제이다.

 *TruthHypo 벤치마크의 개요: 데이터셋 구성, 작업 공식화, 진실성 평가* 본 논문은 과학 가설 생성에서 대규모 언어모델(LLM)의 진실성을 평가하기 위한 TruthHypo 벤치마크와 환각(hallucination) 탐지를 위한 KnowHD 프레임워크를 제시한다. LLM이 그럴듯해 보이지만 과학적으로 부정확한 가설을 생성하는 문제를 체계적으로 연구하기 위한 포괄적 접근법을 제공한다.

이 논문은 LLM 기반 과학 발견의 신뢰성 문제를 처음 체계적으로 다루며, TruthHypo와 KnowHD라는 실용적 도구를 제공함으로써 과학 혁신에 실질적으로 기여할 수 있는 중요한 작업이다. 다만 생의학 영역 국한과 자동 평가의 견고성 강화가 향후 과제이다.

 *Figure 1: 4가지 프롬프팅 방식 비교 - (a) 표준, (b) 사고의 연쇄(CoT), (c) 행동만, (d) ReAct (reasoning+acting). HotpotQA와 AlfWorld 작업 해결 과정 시연* 본 논문은 대규모 언어 모델(LLM)의 추론(reasoning)과 행동(acting)을 상호작용적으로 결합하여 복잡한 작업을 해결하는 ReAct 패러다임을 제시한다. 모델이 사고(thought)와 행동(action)을 번갈아 생성하면서 외부 환경과 상호작용하여 동적 추론을 수행하고 오류 전파 및 환각(hallucination)을 완화한다.

ReAct는 대규모 언어 모델의 추론과 행동을 상호작용적으로 통합하여 복잡한 작업 해결 능력을 획기적으로 향상시킨 매우 영향력 있는 연구이다. 광범위한 벤치마크(HotpotQA, Fever, ALFWorld, WebShop)에서 기존 방식을 압도하는 성능을 보였으며, 특히 해석가능성과 신뢰성의 동시 개선이라는 부가 이점을 제공한다. 다만 동결된 모델에 대한 프롬프팅 의존, 외부 자원 필요성, 사고의 질적 분석 부족 등이 한계로 남으나, 파인튜닝 실험을 통해 개선 가능성을 시사하고 있다. LLM 기반 에이전트 개발의 실질적 표준이 될 수 있는 중요한 기여라고 평가된다.