Use of large language models as artificial intelligence tools in academic research and publishing among global clinical researchers

Essence

본 연구는 글로벌 의학 및 보건의료 관련 연구자 226명(59개국)을 대상으로 대규모 언어 모델(LLM)의 학술 출판 활용 현황, 인식도, 그리고 향후 영향에 대한 종합적 실태조사를 제시한다. LLM 인식도가 높은 연구자일수록 논문 발표 건수가 유의미하게 많았으나, 실제 사용 시에는 대다수가 이를 공개하지 않는 학술 윤리 문제를 드러낸다.

Motivation

Known: Transformer 아키텍처 도입(2017) 이후 BERT, GPT 등 LLM이 빠르게 보편화되었으며, ChatGPT 출시(2022)로 학술 출판 분야에서도 문헌 검토, 초록 선별, 원고 작성 등 광범위하게 활용되고 있음
Gap: LLM 활용의 효율성 이점에도 불구하고, 가짜 인용, 편향 증폭, 저자 책임성 약화 등 윤리적 우려가 상존하나, 실제 임상 연구자들의 인식 및 사용 행태에 대한 체계적 실태조사 부족
Why: 신뢰할 수 있는 학술 출판 정책 수립과 AI 사용의 규제 체계 구축을 위해서는 현장 연구자의 관점과 실제 사용 행태 파악이 필수적
Approach: Harvard Medical School의 Global Clinical Scholars' Research Training(GCSRT) 프로그램 수료자를 대상으로 2024년 4-6월 온라인 설문조사 수행 (교육수준 높은 동질 집단, 다양한 지역·전공 대표성)

Achievement

높은 인식도와 발표 실적 연관성: 87.6%(198명)가 LLM 인식, LLM 인식 집단의 중앙값 논문 8편 vs 미인식 집단 3편 (p<0.001) - 신뢰 있는 연구자일수록 LLM 도입이 활발함을 시사
사용-공개 불일치 현상: LLM 인식 연구자 중 18.7%(37명)만 실제 사용 경험, 그 중 64.9%가 문법·서식 교정에 활용했으나, 논문에서 40.5%가 사용을 공개하지 않음 - 심각한 투명성 문제
미래 전망과 규제 수요의 괴리:
- 50.8%가 긍정적 미래 영향 예측, 52%가 문법·서식(66.3%), 수정·편집(57.2%), 문장 작성(57.2%), 문헌검토(54.2%) 영역 주요 임팩트 전망
- 반면 78.3%가 남용 방지 규제 필요 인정, 58.1%는 저널의 AI 사용 허용 동의 - 신중한 규제 프레임워크 수립 요구

How

설문 설계: 4개 섹션 구성 (배경 정보 → LLM 인식도 → LLM 영향 평가 → 향후 정책 의견)
표본 선정: GCSRT 2020-2024년 수료자 550명 중 표본크기 계산(오차한계 5%, 신뢰도 95%, 검정력 0.8) 기반 목표 220명 이상 모집, 최종 226명 응답(응답률 41%)
분석 방법:
- 기술통계: 정규분포 연속변수는 평균±표준편차, 비정규 변수는 중앙값(사분위범위), 범주형은 빈도·백분율
- 검정: Shapiro-Wilk 정규성 검정 → ANOVA 또는 Kruskal-Wallis 검정(연속변수), χ² 또는 Fisher 정확검정(범주형)
- 개방형 문항: 주제 분석법(thematic analysis)
- 통계 소프트웨어: Stata MP 17.0, 양측검정 p<0.05 유의수준

Originality

글로벌 다층적 표본: 59개국, 65개 전문분야, 다양한 경력단계 포괄하는 균형 잡힌 구성으로 서구 중심 편향 극복
명시적 투명성 문제 노출: 단순 사용률 조사를 넘어 실제 사용과 공개 간 불일치를 정량화하여 학술 윤리의 맹점 적시
미래 정책 기초 제공: 연구자의 순차적 입장 변화(긍정 전망 vs 규제 필요)를 포착해 향후 저널 정책과 규제 체계 수립을 위한 실증적 근거 제시
고수준 집단 연구: GCSRT 수료자(고등교육 이수, 활발한 출판 활동)를 대상으로 "가장 영향력 있는 집단"의 인식 변화 추적

Limitation & Further Study

표본 대표성 제약: GCSRT 프로그램 수료자(고학력, 활발한 연구자) 중심으로 선발 편향(selection bias) 존재 → 저수준 또는 저개발국 일반 연구자, 학생층 미포함으로 전체 임상 연구 커뮤니티 일반화 제한
응답률 41%: 550명 중 226명만 응답하여 무응답 편향(non-response bias) 가능성, 특히 LLM에 대해 관심 또는 우려가 높은 집단이 선택적으로 응답했을 수 있음
단면조사 한계: 시간 경과에 따른 인식 변화 추적 불가, 2020-2024년 수료자 혼합하여 시기별 차이 분석 미흡
정성 데이터 분석 제한: 개방형 답변 분석이 제시되지 않아, 규제 필요 이유, 우려 사항 등 심층적 이해 부족
실제 사용 세부 내용 부재: LLM 도구별(ChatGPT vs Claude vs Llama 등) 차이, 사용 빈도, 결과 품질 평가 데이터 미수집

후속 연구 방향:

종단 추적 조사(cohort follow-up)로 인식 변화 추적
저개발국 기초 연구자, 의대생, 대학원생 포함 확대 표본 조사
선정 저널의 AI 정책 사례 비교 분석 및 출판 거절 사유 중 AI 관련 윤리 위반 빈도 조사
LLM 출력물 품질 평가 실험(생성된 텍스트 정확도, 인용 검증, 논리적 일관성)

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 5/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 LLM 시대 학술 출판의 투명성과 윤리를 다룬 시의적절하고 광범위한 실태조사로, 특히 사용-공개 불일치 현상을 정량화하여 저널과 규제당국이 즉시 대응할 수 있는 근거를 제시한다. 다만 표본의 동질성과 응답률 한계, 단순 현상 기술에 그친 점은 보완이 필요하다.

같이 보면 좋은 논문

기반 연구

OverleafCopilot: Empowering academic writing in overleaf with large language models

의학 연구자들의 LLM 사용 실태가 Overleaf와 같은 학술 글쓰기 도구에 LLM 통합 필요성을 보여준다

기반 연구

LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation

의료 연구자들의 LLM 사용 실태가 실제 임상 환경에서 LLM 벤치마크 설계 필요성을 보여준다

기반 연구

Large language models penetration in scholarly writing and peer review

의학 분야 특화 LLM 사용 실태가 전체 학술 분야 침투도 측정의 선행 연구가 된다

후속 연구

OverleafCopilot: Empowering academic writing in overleaf with large language models

LLM 사용 실태조사에서 Overleaf 같은 실제 글쓰기 도구 통합으로 구체적 해결책을 제시한다

후속 연구

LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation

의료 연구자들의 LLM 사용 실태조사 결과를 바탕으로 실제 임상 환경에서의 체계적 평가가 필요하다

후속 연구

Large language models penetration in scholarly writing and peer review

의학 연구자 대상 실태조사에서 전체 학술 분야로 LLM 침투도 측정을 확장한다