OverleafCopilot: Empowering academic writing in overleaf with large language models

Motivation

• Known:
  • LLM(GPT-3, GPT-4 등)은 자연어 처리와 텍스트 생성에서 뛰어난 성능을 보임
  • Overleaf는 LaTeX 기반의 실시간 협업 학술 논문 작성 플랫폼으로 광범위하게 사용되고 있음
• Gap:
  • LLM과 Overleaf 사이의 직접적인 통합이 부재함
  • 연구자들이 논문 작성 중 LLM의 도움을 받으려면 별도의 도구를 오가야 함
• Why:
  • LLM을 Overleaf에 통합하면 논문 폴리싱(polishing), 문법 검사, 번역 등의 작업을 효율적으로 처리할 수 있음
  • 작업 흐름(workflow)의 단절을 제거하여 연구자의 생산성을 향상시킬 수 있음
• Approach:
  • Chrome 확장 프로그램 기술을 활용한 Overleaf와 LLM 제공자(OpenAI) 간의 매끄러운 통합
  • 사용자 정의 가능한 에이전트 시스템과 템플릿 지시어 엔진(TDE) 구현
  • 고품질 프롬프트 수집을 위한 PromptGenius 웹사이트 개발

Achievement

발행-구독 패턴(Publish-Subscribe Pattern)

1. 첫 번째 통합 도구: Overleaf와 LLM을 seamlessly 통합한 최초의 브라우저 확장 프로그램으로 Chrome 확장 스토어에 배포되어 수천 명의 연구자가 사용 중
2. 포괄적인 기능:
   • 논문 폴리싱(1-클릭 최적화, 품질 향상)
   • 다국어 문법 검사(영어, 중국어)
   • 학술 스타일 유지 번역
   • 작성 제안 기능
   • 결과 자동 클립보드 저장
3. 고도의 커스터마이제이션:
   • 프롬프트 사용자 정의
   • 단축키 설정
   • 인터페이스 레이아웃 선택
4. 개인정보 보호: 사용자 콘텐츠를 로컬에 저장하지 않고 LLM 제공자에게만 전달

How

에이전트의 설명 및 분류

기술 스택

• 기반 기술: Chrome 확장 프로그램 API
• 프론트엔드 프레임워크: Vue.js, Vuetify
• UI 디자인: Material Design 기반

핵심 아키텍처 요소

• Scoped Event Bus System (SEB):
  • 발행-구독(publish-subscribe) 디자인 패턴 기반
  • 이벤트 문자열의 점(dot)으로 계층적 범위 분할
  • 느슨한 결합(loose coupling)으로 모듈 간 독립성 보장
• Message Switch Center (MSC):
  • Chrome 확장의 4가지 스크립트 간 메시지 전달 중개
  • Content Script, Worker Script, Injected Script, Popup Script 조정
• Template Directive Engine (TDE):
  • XML 문법 기반의 트리 구조 템플릿으로 에이전트 정의
  • 사용자가 지시어(directive)를 조합하여 맞춤 에이전트 생성
  • 각 에이전트는 4단계 실행: pre-action → prompt 생성 → API 호출 → post-action
• 에이전트 워크플로우:
  • 사용자 입력 인식(Perceive) → 처리 결정(Think) → 실행(Act) 의 사이클
  • OpenAI GPT 시리즈 API 통합, 향후 다른 LLM 제공자 확대 계획

Originality

• 최초의 통합 솔루션: Overleaf와 LLM의 직접 통합을 실현한 최초의 도구
• 혁신적인 아키텍처 디자인:
  • 범위가 지정된 이벤트 버스 시스템(SEB)으로 모듈 간 느슨한 결합 구현
  • XML 기반 템플릿 지시어 엔진으로 높은 확장성과 사용자 정의성 제공
• PromptGenius 플랫폼: 연구자들이 고품질 프롬프트를 공유하고 발견할 수 있는 커뮤니티 기반 리소스 구축
• 개인정보 보호 고려: 로컬 저장 없이 직접 LLM 제공자에게 전달하는 프라이버시 친화적 설계
• 실용적인 상용화: 이론적 개념이 아닌 실제 Chrome 확장 스토어에 배포되어 사용 가능한 제품

Limitation & Further Study

• LLM 제공자 의존성: 현재 OpenAI API에만 의존하고 있으므로, 다른 LLM 제공자(Claude, Llama 등) 통합이 필요
• 오프라인 지원 부족: 인터넷 연결이 필수적이므로 오프라인 환경에서의 활용이 불가능
• 학술 도메인 최적화 부재: 특정 학술 분야(의학, 물리학 등)의 특수 용어나 관례에 최적화된 모델 없음
• 비용 문제: API 호출 비용이 누적될 수 있으므로, 무료 또는 저비용 옵션 확대 필요
• 평가 및 검증 부족: 논문에 사용자 만족도 조사나 객관적 성능 평가 결과 미제시
• 향후 개선 방향:
  • 다중 LLM 제공자 지원
  • 로컬 LLM 모델 통합
  • 특화된 학술 작성 모델 개발
  • 협업 기능 강화
  • 플러그인 마켓플레이스 구축

Evaluation

총평: OverleafCopilot은 학술 커뮤니티의 실질적인 필요를 충족하는 실용적인 도구로서 가치가 있으나, 기술 보고서로서 엄격한 평가 기준이나 성능 검증 데이터가 부족하다. 제품의 상용성과 실제 사용자 피드백은 강점이지만, 학술 논문으로는 보다 체계적인 실험 설계와 정량적 평가가 필요하다.