AutoBio: A Simulation and Benchmark for Robotic Automation in Digital Biology Laboratory

Motivation

• Known: VLA 모델은 시각, 언어, 고유감각(proprioception) 정보를 통합하여 로봇 정책으로 활용되고 있으며, 최근 가정용 작업(테이블 치우기, 옷 접기 등)에서 우수한 성능을 보였다.
• Gap: 기존 벤치마크(Meta-World, robosuite, ManiSkill 등)는 가정용 또는 산업용 환경의 거친 조작(pick-and-place)에 집중되어 있으며, 전문적인 과학 환경의 정밀 조작과 복잡한 다중모드 상호작용을 평가하지 못하고 있다.
• Why: 생물 실험실은 명확한 프로토콜, 높은 정밀도 요구, 다양한 인터페이스(디지털 디스플레이, 제어판, 관절형 메커니즘) 상호작용, 투명한 액체/용기 처리 등 VLA 모델에 새로운 도전 과제를 제시한다.
• Approach: 실세계 실험실 기기를 3D 가우시안 스플래팅(3DGS)으로 디지털화하고, 생물 실험 특화 물리 플러그인(나선 메커니즘, 준정적 액체 계산 등)을 개발하며, 물리 기반 렌더링(PBR)으로 투명도 및 반응형 디스플레이를 지원하는 시뮬레이터를 구축한다.

Achievement

1. AutoBio 시뮬레이터:
   • 3D 가우시안 스플래팅 기반 기기 디지털화 파이프라인
   • 나선(thread), 디텐트(detent), 편심(eccentric) 메커니즘 및 준정적 액체 계산을 위한 MuJoCo 플러그인
   • Blender PBR 렌더링 스택으로 투명 재료 및 동적 인터페이스 지원
2. AutoBio 벤치마크:
   • 분리(separation), 조합(combination), 측정(measurement), 컨디셔닝(conditioning), 보존(preservation), 이송(transfer) 등 7가지 생물학적 원시 작업(biological primitives)
   • 3가지 난이도(Easy, Medium, Hard)의 16개 과제
   • 궤적 합성 및 VLA 모델 통합을 위한 완전한 인프라 제공
3. VLA 모델 평가 결과: π0 및 RDT 모델에서 정밀 조작, 시각 추론, 명령 수행에서 유의미한 성능 격차 발견

How

• 자산 디지털화:
  • 다중 뷰 비디오 캡처 → PGSR 알고리즘 3DGS 재구성 → 메시 추출 → CAD 정제 → UV 언래핑 및 텍스처 베이킹
• 물리 시뮬레이션:
  • MuJoCo 기반의 커스텀 플러그인으로 실험실 고유 메커니즘 구현
  • 나선 메커니즘: 회전 토크 곡선 재현
  • 디텐트 메커니즘: 해제 임계값이 있는 스냅(snap) 행동
  • 준정적 액체: 컨테이너 경사 시 액체 물리학 근사
• 렌더링 파이프라인:
  • Blender PBR으로 물리 기반 투명도 처리
  • 동적 텍스처 렌더링으로 기기 디스플레이의 상호작용 표현
  • 카메라 기반 액체 부피 추정
• MJCF 형식: 자산의 물리적 및 시각적 속성을 통일된 모델링 언어로 기술

Originality

• 과학 영역 특화: 기존 로봇 조작 벤치마크는 가정/산업 영역에 집중되어 있는데, 본 논문은 처음으로 생물 실험실이라는 고정밀 과학 워크플로우 환경을 체계적으로 다룬다.
• 복합 메커니즘 지원: 기존 시뮬레이터는 강체 상호작용만 지원하는데, 나선 메커니즘, 디텐트, 준정적 액체 등 생물 실험실 특화 물리 현상을 MuJoCo 플러그인으로 구현했다.
• 투명도 및 반응형 UI: PBR 렌더링으로 투명한 액체/용기를 물리적으로 정확히 표현하고, 동적 텍스처로 디지털 인터페이스를 상호작용 가능하게 구현한 점이 선행 연구와 구별된다.
• 생물학적 원시 작업 체계화: 실험 프로토콜을 7가지 기본 원시 작업으로 분해하고 3단계 난이도로 구조화한 프레임워크가 체계적이다.
• 다중모드 평가: 정밀 조작, 시각 추론, 명령 수행을 동시에 평가하는 종합적 벤치마크를 제공한다.

Limitation & Further Study

• 실제 로봇 검증 부재: 시뮬레이션 결과와 실제 로봇 시스템의 sim-to-real 전이(transfer)를 검증하지 않았으며, 시뮬레이션과 실제 환경 간 물리적 편차가 얼마나 존재하는지 명확하지 않다.
• 제한된 모델 평가: π0, RDT 두 가지 SOTA VLA 모델만 평가했으며, 더 광범위한 모델 아키텍처(Transformer, Diffusion 등) 및 훈련 전략의 비교가 필요하다.
• 액체 물리학 단순화: 준정적 액체 계산이 근사치이며, 표면 장력, 접촉각, 증발 등 고급 액체 거동을 완전히 모사하지 못한다.
• 스케일 제한: 벤치마크 과제가 16개로 제한적이며, 더 다양한 생물 실험 프로토콜(단백질 정제, DNA 시퀀싱 등)을 포함하는 확장이 필요하다.
• 후속 연구 방향:
  • 실제 생물 실험실에서의 로봇 시스템 통합 및 검증
  • 과학 영역 특화 사전학습 데이터셋 개발
  • 다중 로봇 협력 작업 확대
  • 불확실성 모델링 및 에러 복구 전략 연구

Evaluation

총평: AutoBio는 로봇 자동화 벤치마크를 전문 과학 영역으로 확장하는 의미 있는 작업으로, 정밀 조작과 다중모드 상호작용이 필요한 생물 실험실을 체계적으로 모사한 첫 번째 프레임워크이다. 3DGS 기반 자산 디지털화, 생물 실험 특화 물리 플러그인, PBR 렌더링 등 기술적 기여가 견고하며, VLA 모델 평가에서 명확한 성능 격차를 드러냈다. 다만 실제 로봇 검증과 더 광범위한 모델 평가가 진행되면 영향력이 더욱 커질 것으로 예상된다.