[디지털경제뉴스 박시현 기자] 무하유가 GPT-4o 생성 문장까지 탐지할 수 있도록 ‘GPT킬러’ 기능을 업데이트했다.
GPT킬러는 무하유가 작년 9월에 선보인 디텍트 GPT 솔루션으로, 문서를 검토하는 과정에서 챗GPT가 작성했다고 의심되는 부분을 탐지해 준다. 지난 12년간 AI 표절검사 서비스 카피킬러를 운영하며 축적해 온 문서 데이터와 한국어 자연어이해 노하우와 운영 철학을 접목시켰다.
이번 업데이트를 통해 최신의 챗GPT 버전인 GPT-4o에서 생성한 문장까지 탐지할 수 있도록 기능을 고도화했다. 탐지 정확도 향상을 위해 챗GPT 각 버전에서 실제 학생들이 과제물을 생성할 때 사용하는 것과 유사한 프롬프트를 활용해서 대량의 과제물 및 자기소개서를 생성했다. 또한, GPT-4o로 생성한 과제물 데이터를 내부적으로 구축한 후 기존 챗GPT 모델에 대해서도 추가학습을 진행해 모든 버전에 대한 정확도를 크게 향상시켰다.
실제 무하유의 자체 성능 테스트 결과, GPT4-o가 쓴 문장에 대한 탐지 정확도는 0.9695로 나타났다. GPT3.5 터보 및 GPT-4 터보가 쓴 문장에 대해서도 각각 0.9807, 0.9824의 높은 정확도를 보였다. 숫자가 1에 가까울 수록 오류 없이 높은 정확도로 탐지해 냄을 의미한다.
무하유는 신규 버전의 챗GPT가 출시되면 즉각적으로 대응할 수 있도록 자동화 파이프라인도 구축했다. 챗GPT 모델들의 업데이트에 따른 GPT킬러의 성능 하락을 자동 감지하고 보완할 수 있도록 모델 성능 변화를 지속적으로 관찰하고, 필요한 일련의 과정을 자동화했다.
한편 GPT킬러는 무하유의 AI 표절검사 서비스 ‘카피킬러’, AI 서류 평가 서비스 ‘프리즘’ 등에 적용돼 있다. 학생들의 논문 및 과제물, 취업 준비생의 자기소개서 등에 GPT 생성문이 포함돼 있는지 판단한다. 현재 중앙대학교, 서울시립대학교, 성균관대학교, 세종대학교, 동덕여자대학교, 순천향대학교를 포함한 대학교 및 한국연구재단, 한국건설기술연구원, 충남연구원, 한국고용정보원, 한국지방행정연구원 등의 연구기관에서 활용 중이다.
