AI 탐지기의 작동 방식과 점수만으로는 저작권을 증명할 수 없는 이유

에세이, 기사 또는 이메일을 AI 탐지기에 붙여넣으면 몇 초 후에 “85% AI”와 같은 결과가 반환될 수 있습니다.

정확해 보입니다. 하지만 오해하기도 쉽습니다.

탐지기는 문서가 어떻게 작성되었는지 관찰하지 않았습니다. 완성된 텍스트에서 AI가 생성한 글과 관련된 패턴을 분석했습니다. 도구에 따라 85%라는 수치는 AI가 문서를 작성했을 추정 확률이나 탐지기가 표시한 텍스트의 비율을 나타낼 수 있습니다.

이로 인해 AI 탐지기는 특히 면밀한 조사가 필요한 경우 유용한 신호가 됩니다. 하지만 누군가 글을 쓴 사람이나 작성 방법에 대해 결론을 내리기 전에 점수에는 여전히 맥락과 뒷받침하는 증거가 필요합니다. 탐지기가 점수를 산출하는 방식을 이해하면 탐지기가 무엇을 포착할 수 있는지, 그리고 왜 가끔 오류를 범하는지 설명하는 데 도움이 됩니다.

AI 탐지기란 무엇인가요?

AI 글쓰기 탐지기는 완성된 글을 보고 언어 모델이 생성한 글과 유사한지 평가합니다. 사용자는 대개 텍스트를 붙여넣거나 문서를 업로드합니다. 몇 초 내에 도구는 레이블, 백분율, 강조 표시된 구절 또는 이 세 가지 모두를 반환할 수 있습니다.

• 교사와 학술 기관은 학생 과제를 검토할 때 이를 사용합니다.
• 출판사와 콘텐츠 팀은 제출되었거나 의뢰받은 글을 선별하는 데 이를 사용할 수 있으며, 일부 탐지기 기업은 지원 자료를 검토하는 채용 팀을 위한 버전을 마케팅하기도 합니다.
• 작가들은 교사, 편집자, 클라이언트 또는 플랫폼이 자신의 작업을 어떻게 분류할지 이해하기 위해 자신의 작업을 직접 확인하기도 합니다.

참고: 표절 검사기는 관련되어 있지만 별도의 용도로 사용됩니다. 문서와 출판물 및 기타 소스를 비교하여 일치하는 언어를 찾습니다. AI 탐지기는 제출된 글의 패턴을 평가합니다. 따라서 완전히 독창적인 구절이라도 AI 플래그를 받을 수 있는 반면, 복사된 인간의 글에는 AI 생성에 대한 강한 신호가 포함되어 있지 않을 수 있습니다.

AI 탐지기가 텍스트를 분석하는 방법

많은 AI 탐지기는 인간이 쓴 글과 AI가 생성한 글의 예시로 훈련된 머신러닝 모델인 분류기에 의존합니다. 둘을 비교하면서 단어 선택과 문장 구조의 패턴을 포함하여 각 패턴에 어떤 패턴이 나타나는 경향이 있는지 학습합니다. 그런 다음 새 텍스트에서 이러한 패턴을 찾아 예측을 생성합니다.

탐지기가 학습하는 내용은 학습 과정에서 무엇을 보았느냐에 따라 달라집니다. 제한된 범위의 글만 학습한 도구는 새로운 주제, 익숙하지 않은 스타일, 또는 이전에 접하지 못한 AI 모델의 출력물에 어려움을 겪을 수 있습니다. 다양한 유형의 텍스트와 AI 모델을 대상으로 한 연구에 따르면 이러한 조건에서는 탐지 성능이 저하될 수 있습니다.

일부 방법은 다른 접근 방식을 취합니다. 별도의 분류기를 훈련하는 대신 언어 모델 자체의 확률 추정치를 사용하여 구절을 생성할 가능성이 얼마나 되는지 판단합니다.

• 예를 들어 DetectGPT는 AI 생성과 관련된 패턴을 찾기 위해 원본 문서를 약간 수정한 버전과 비교합니다. 연구진은 별도의 훈련된 탐지기가 필요하지 않기 때문에 이를 "제로샷(zero-shot)" 방법이라고 설명합니다. 결과에는 전체 점수, 강조 표시된 문장 또는 둘 다가 포함될 수 있습니다.
• GPTZero에 따르면 강조 표시는 전체 예측에 가장 큰 영향을 미치는 문장을 보여줍니다. 또한 광범위한 문서도 평가하기 때문에, 자체적으로 스캔한 구절은 더 긴 문서의 일부로 나타날 때와 동일한 결과를 받지 못할 수 있습니다.

모든 결과는 텍스트와 이를 평가하는 시스템을 모두 반영하며, 이것이 서로 다른 탐지기가 동일한 구절에 대해 서로 다른 결론에 도달할 수 있는 이유입니다.

확대

퍼플렉시티(perplexity)와 버스티니스가 측정하는 것

퍼플렉시티와 버스티니스는 AI 탐지 설명에 자주 등장합니다. 글에서 유용한 패턴을 밝혀낼 수 있지만, 어느 쪽도 AI만의 고유한 작성 방식을 가리키는 것은 아닙니다.

잠재적으로 혼란을 줄 수 있는 세부 사항: 퍼플렉시티가 여기서 두 가지 역할을 하고 있습니다. 소문자로 쓸 때는 통계적 측도입니다. 대문자 P로 쓸 때는 우리 자신을 의미합니다.

퍼플렉시티는 텍스트가 얼마나 예측 가능한지 측정합니다

언어 모델은 전체 단어나 단어의 일부일 수 있는 가능한 다음 토큰에 확률을 할당하여 텍스트를 생성합니다. 퍼플렉시티는 모델이 구절 내의 토큰을 얼마나 잘 예측할 수 있는지 측정합니다.

• 낮은 퍼플렉시티: 텍스트가 모델에 익숙한 패턴을 따릅니다.
• 높은 퍼플렉시티: 단어 선택의 예측 가능성이 낮습니다.

점수는 평가를 수행하는 모델과 텍스트가 처리되는 방식에 특유하므로, 동일한 구절이라도 설정에 따라 다른 퍼플렉시티 점수를 받을 수 있습니다.

"질문이 있으시면 알려주세요."라는 문장을 예로 들어 보겠습니다. 언어 모델은 이와 유사한 표현을 여러 번 접했을 가능성이 높으므로 각 단어를 비교적 쉽게 예측할 수 있습니다. 이는 해당 문장의 친숙도에 대해 무언가를 말해줍니다. 하지만 누가 그것을 작성했는지에 대해서는 확정적인 아무런 말도 해주지 않습니다.

버스티니스는 이러한 패턴이 얼마나 다양하게 나타나는지 측정합니다

버스티니스(burstiness)는 AI 탐지 논의에서 좀 더 느슨한 의미로 사용됩니다. 일반적으로 한 구절 내에서 글의 변화가 얼마나 큰지를 나타냅니다. 여기에는 문장 길이와 구조의 다양성, 또는 예측 가능한 언어와 더 놀라운 언어 간의 전환이 포함될 수 있습니다.

• 낮은 버스티니스: 문장의 길이, 구조 또는 리듬이 더 일관되게 유지됩니다.
• 높은 버스티니스: 글이 짧은 진술, 긴 설명, 예상치 못한 표현 사이를 오갑니다.

일부 AI 생성 텍스트는 일관되고 예측 가능하며, 이것이 버스티니스가 탐지와 연관된 이유입니다. 인간이 쓴 글도 특히 비즈니스, 학술, 기술적 맥락에서 동일한 특성을 가질 수 있습니다. AI 모델은 프롬프트를 받거나 편집할 때 더 다양한 언어를 생성할 수 있습니다.

GPTZero에 따르면 퍼플렉시티와 버스티니스는 이전 버전의 탐지기에서 사용된 여러 기능 중 두 가지였습니다.

이러한 측정값이 보여주는 것: 퍼플렉시티와 버스티니스는 구절의 패턴을 설명합니다. 이러한 패턴은 텍스트에 플래그가 지정된 이유를 설명하는 데 도움이 될 수 있지만, 누가 작성했는지 확정할 수는 없습니다.

AI 탐지기의 점수가 의미하는 것

“80% AI” 결과는 간단해 보입니다. 그 의미는 탐지기에 따라 다릅니다.

GPTZero는 이 백분율을 AI 또는 인간이 문서를 작성했을 모델의 추정 확률로 설명합니다. Turnitin은 자격 요건을 갖춘 산문 중 모델이 AI가 생성했거나 특정 AI 도구로 수정되었을 가능성이 있다고 플래그를 지정하는 비율을 보여주는 데 이 백분율을 사용합니다.

따라서 동일한 “80% AI” 레이블은 다음을 의미할 수 있습니다.

• 탐지기는 AI가 문서를 생성했을 확률을 80%로 추정합니다.
• 탐지기는 평가한 산문 중 80%를 표시했습니다.

이는 서로 다른 결과입니다. 하나는 문서 전체에 대한 예측을 합니다. 다른 하나는 텍스트 중 탐지기의 기준과 일치하는 비율을 식별합니다.

확률 점수에는 보정이란 또 다른 확인 과정이 필요합니다. 탐지기가 100개의 문서에 AI 확률을 약 80%로 부여하는 경우, 점수가 잘 보정되려면 그중 약 80개가 실제로 AI가 생성한 것이어야 합니다. 출처가 알려진 예시와 모델을 테스트하면 확률이 실제 결과와 얼마나 밀접하게 일치하는지 알 수 있습니다.

퍼센트는 그 의미나 신뢰성이 명확해지기 전에는 정확해 보일 수 있습니다. 레이블, 채점 방법, 탐지기의 성능 모두 숫자가 뒷받침할 수 있는 내용을 결정합니다.

확대

임계값에 따라 플래그가 지정되는 항목이 결정됩니다

탐지기는 여전히 점수가 조치를 취하기에 충분히 높은 시기를 결정해야 합니다. 이 경계선을 컷오프(cutoff) 또는 임계값(threshold)이라고 합니다.

도구가 0부터 100까지의 점수를 매기고 70을 초과하는 모든 항목에 플래그를 지정한다고 가정해 보겠습니다. 기준점을 60으로 낮추면 모든 점수는 변경되지 않은 채 플래그가 지정된 문서의 수만 늘어날 것입니다.

• 낮은 임계값은 일반적으로 AI가 생성한 글을 더 많이 탐지하지만, 인간이 쓴 글도 더 많이 잘못 플래그 처리합니다.
• 높은 임계값은 잘못된 플래그를 줄이지만, AI가 생성한 글이 더 많이 탐지되지 않도록 허용합니다. 이 트레이드오프는 분류 시스템 전반에 적용됩니다.

가능한 두 가지 실수는 이름이 다릅니다.

• 인간의 글이 AI가 생성한 것으로 표시될 때 위양성(false positive)이 발생합니다.
• AI가 생성한 글이 탐지되지 않을 때 위음성(false negative)이 발생합니다.

탐지기가 선을 긋는 위치는 피하도록 설계된 오류를 반영합니다. 이러한 선택은 플래그가 성적, 직업 또는 누군가의 신뢰성에 영향을 미칠 수 있을 때 더 큰 무게를 갖습니다.

2%의 오류율이 어떻게 거의 30%의 잘못된 플래그를 생성할 수 있는지

2%의 위양성률이 미치는 영향은 탐지기가 검토하는 인간의 글 분량에 따라 달라집니다.

1,000개의 기사로 구성된 가상의 세트를 고려해 보세요.

• 50개는 AI가 생성한 것입니다.
• 950개는 사람이 작성한 것입니다.
• 탐지기는 AI가 생성한 기사의 90%를 잡아냅니다.
• 사람이 작성한 기사의 2%를 잘못 표시합니다.

다음과 같은 일이 발생합니다.

탐지기는 총 64개의 글을 표시했습니다. 이 중 19개가 사람이 작성한 것이므로, 표시된 내용의 거의 30%가 틀린 것입니다.

2%와 30%라는 수치는 서로 다른 것을 측정합니다. 탐지기는 사람이 작성한 전체 글의 2%를 잘못 표시합니다. 이러한 오류는 탐지기가 표시하는 전체 항목의 거의 30%를 차지합니다.

탐지기가 AI가 생성한 기사보다 사람이 작성한 기사를 훨씬 더 많이 검토했기 때문에 숫자가 이렇게 합산됩니다. 작은 오류율이라도 훨씬 더 큰 그룹에 적용되면 의미 있는 수의 잘못된 플래그를 생성할 수 있습니다.

기저율(base rate)이라는 용어는 확인 중인 자료에서 AI가 생성한 글이 얼마나 흔한지를 설명합니다. 해당 비율이 변경되면 긍정적인 결과의 의미도 변경됩니다. 탐지기의 진양성 및 위양성률이 동일하게 유지되는 경우, AI가 생성한 글이 컬렉션에서 흔할 때 플래그가 더 신뢰할 수 있고 드문 경우 신뢰성이 떨어집니다.

이 숫자는 가상이며 특정 탐지기를 설명하지 않습니다. 실제 검토에서는 AI가 생성한 글의 비율을 알 수 없는 경우가 많습니다. 이러한 불확실성은 플래그를 문서 작성 방식에 대한 증거가 아니라 더 자세히 살펴봐야 하는 이유로 취급해야 하는 또 다른 이유입니다.

정확도는 탐지기가 테스트된 대상에 따라 다릅니다

정확도율은 특정 조건에서의 성능을 설명합니다. 해당 비율을 다른 글에 적용하기 전에 다음을 확인하세요.

• 탐지기 버전
• 텍스트의 길이, 언어, 주제 및 형식
• 테스트 자료를 생성하는 데 사용된 AI 모델 및 설정
• 텍스트가 편집되었거나 고의로 수정되었는지 여부
• 사람이 쓴 샘플에 대표로 포함된 작가들

도구에서 지원하는 입력으로 시작하세요

예를 들어 Turnitin은 최소 300단어 이상의 긴 산문을 요구합니다. 자사의 모델은 AI가 생성한 시, 대본, 코드 또는 기타 산문이 아닌 형식을 안정적으로 탐지하지 못한다고 밝혔습니다. 따라서 에세이에서 강력한 성능을 보인다고 해서 동일한 탐지기가 시나 짧은 이메일을 어떻게 처리할지에 대해서는 알 수 있는 바가 거의 없습니다.

테스트를 실제 글과 비교하기

2024년에 연구원들은 11개의 모델과 8개의 주제 영역에 걸쳐 6이 넘는 AI 생성 구절을 포함하는 벤치마크인 RAID를 사용하여 12개의 탐지기를 테스트했습니다. 탐지기가 익숙하지 않은 모델, 다른 생성 설정 또는 고의로 수정된 텍스트를 접했을 때 성능이 떨어졌습니다.

RAID를 사용한 2025년 챌린지에서는 더 익숙한 조건에서 더 강력한 결과가 도출되었습니다. 여러 참가자가 5%의 위양성률을 유지하면서 기계가 생성한 텍스트를 99% 이상 탐지했습니다. 테스트에 사용된 주제 영역과 AI 모델도 학습 데이터에 포함되어 있었습니다.

종합해 보면, 이 결과는 탐지기가 인식하도록 학습된 다양한 자료에서는 잘 작동하는 반면, 익숙하지 않은 자료는 평가하기가 여전히 더 어렵다는 것을 보여줍니다.

누가 대표로 포함되었는지 확인하세요

2023년 연구에 따르면, 7개의 탐지기가 비영어권 원어민이 작성한 TOEFL 에세이 91편 중 평균 61.3%를 AI가 생성한 것으로 잘못 분류했습니다. 이 결과는 당시 테스트한 도구와 샘플에 적용됩니다. 또한 전체 정확도율이 모든 작성자 그룹의 성능을 동일하게 잘 설명하지 못할 수 있는 이유를 보여줍니다.

정확도 주장 읽는 법: 제출된 텍스트가 테스트에 사용된 자료와 유사할수록 보고된 결과의 관련성이 높아집니다.

최종 문서는 그것이 어떻게 작성되었는지의 일부만 보여줍니다

AI는 글쓰기 과정에서 많은 역할을 할 수 있습니다. 누군가는 주제를 연구하고, 노트를 정리하고, 구절을 번역하고, 문장을 다듬거나, 초안을 작성하기 위해 이를 사용할 수 있습니다.

이러한 워크플로우는 매우 다른 문서로 이어질 수 있습니다. 한 작성자는 연구를 위해 AI를 사용하고 모든 문장을 독립적으로 작성할 수 있습니다. 다른 작성자는 AI가 생성한 초안을 대폭 재작성할 수 있습니다. 세 번째 작성자는 사람이 작성한 기사에 생성된 문단 하나를 추가할 수 있습니다.

텍스트 탐지기는 제출된 단어를 볼 수 있습니다. 그 이전에 있었던 프롬프트, 수정 또는 결정에 대한 액세스 권한이 없습니다. 그 점수는 전체 글쓰기 과정을 재구성하거나 작성자가 특정 정책을 따랐는지 여부를 결정할 수 없습니다. 예를 들어,

• 학교에서는 학생들이 과제를 직접 작성하도록 요구하면서 브레인스토밍은 허용할 수 있습니다.
• 출판사는 AI 보조 편집이 공개될 경우 이를 허용할 수 있습니다.
• 직장에서는 AI가 문장에 기여했는지 여부보다 사실 정확성, 기밀성 또는 출처 귀속에 더 신경을 쓸 수 있습니다.

이러한 규칙을 적용하려면 완성된 텍스트뿐만 아니라 프로세스에 대한 증거도 필요합니다. 초안 기록, 연구 노트, 작성자의 설명은 탐지기가 제공할 수 없는 맥락을 제공할 수 있습니다. Turnitin은 교육자들에게 학생에 대한 불이익 조치의 유일한 근거로 자사 AI 글쓰기 점수를 사용하지 말라고 명시적으로 권고하고 있습니다.

탐지기는 AI와 연관시키는 패턴과 유사한 언어를 식별할 수 있습니다. 무슨 일이 일어났는지, 그리고 그것이 허용되었는지 여부를 결정하려면 더 광범위한 검토가 필요합니다.

워터마크는 다른 종류의 신호를 추가합니다

일부 AI 시스템은 텍스트를 생성할 때 탐지 가능한 패턴을 추가할 수 있습니다. 이 과정을 워터마킹이라고 합니다.

텍스트 워터마크의 작동 방식

Google DeepMind의 SynthID가 그 예입니다.

1. 시스템이 토큰 확률을 조정합니다. 모델이 특정 단어이나 단어의 일부를 선택할 가능성을 약간 변경합니다.
2. 이러한 선택은 패턴을 만듭니다. 워터마크는 독자에게 보이지 않도록 설계되었습니다.
3. 호환되는 탐지기가 이를 확인합니다. 탐지기는 예상되는 통계적 신호가 있는지 텍스트를 분석합니다.

이 패턴은 생성 과정에서 추가되므로, 텍스트를 생성한 시스템과 관련된 정보를 제공할 수 있습니다.

워터마크 탐지의 한계

• 생성기가 이를 추가해야 합니다. AI 시스템은 워터마크를 지원하고 적용해야 합니다. 워터마크가 없다고 해서 사람이 그 글을 작성했다고 단정할 수는 없습니다.
• 패턴의 상당 부분이 유지되어야 합니다. Google에 따르면 SynthID는 일부 자르기, 단어 변경 및 가벼운 의역을 견딜 수 있습니다. 광범위한 재작성이나 번역은 신뢰도를 떨어뜨릴 수 있습니다.

호환되는 시스템이 텍스트를 생성하고 신호가 충분히 남아 있는 경우 워터마크가 증거를 강화할 수 있습니다. AI가 생성한 모든 글을 식별할 수는 없습니다.

다른 기록들을 통해 전체적인 상황을 더 자세히 파악할 수 있습니다

• 초안 기록은 문서가 시간에 따라 어떻게 변경되었는지 보여줍니다.
• 연구 노트는 해당 주장을 출처와 연결합니다.
• 공개된 AI 상호작용은 도구가 기여한 부분을 보여줍니다.

이러한 기록은 패턴 기반 점수만으로는 알 수 없는 글쓰기 과정에 대한 보다 직접적인 맥락을 제공합니다.

플래그를 검토의 시작점으로 취급하세요

탐지기 결과는 명확한 역할이 부여될 때 더욱 유용해집니다. 플래그에 따라 조치를 취하기 전에 검토자는 도구가 측정한 내용을 파악하고, 텍스트가 해당 범위에 속하는지 확인하며, 사용 가능한 다른 증거를 검토해야 합니다.

5가지 확인 사항이 도움이 될 수 있습니다.

1. 점수 정의를 읽어보세요. 퍼센트가 문서 수준의 확률을 나타내는지 아니면 표시된 텍스트의 비율을 나타내는지 확인하세요.
2. 도구의 범위를 확인하세요. 문서의 언어, 길이, 형식이 탐지기에서 지원하는 것과 일치하는지 확인하세요.
3. 증거를 검토하세요. 강조 표시된 구절을 초안, 출처 노트, 작성자의 설명과 함께 검토하세요.
4. 관련 정책을 적용하세요. 어떤 AI 사용이 허용되며 어떤 증거가 위반을 입증하는지 파악하세요.
5. 작업 자체를 평가하세요. 사실 정확성, 출처 귀속, 독창성, 품질을 자체적인 기준으로 검토하세요.

중요도에 따라 검토의 깊이가 결정되어야 합니다. 편집자는 어떤 기사를 다시 살펴봐야 할지 결정하기 위해 표시 기능을 사용할 수 있습니다. 성적, 직업 또는 출판 계약에 영향을 미치는 결정에는 더 강력한 증거와 작성자가 자신의 과정을 설명할 기회가 필요합니다.

AI 탐지기는 복잡한 판단을 점수로 압축합니다. 해당 점수를 해석하려면 도구가 측정한 내용, 사용한 임계값, 비교 가능한 글에서의 성능, 검토 중인 자료에서 AI가 생성한 텍스트의 일반적인 정도 등 숫자에 포함되지 않은 정보가 필요합니다. 점수는 주의를 유도할 수 있습니다. 탐지기 점수는 검토에 기여할 수 있지만, 저작권에 대한 모든 결론에는 글쓰기 과정에 대한 증거도 필요합니다.

자주 묻는 질문

AI 탐지기가 틀릴 수도 있나요?

그렇습니다. 위양성(false positive)은 탐지기가 사람이 쓴 글을 AI가 생성한 것으로 잘못 표시할 때 발생합니다. 위음성(false negative)은 AI가 생성한 글이 탐지되지 않고 넘어갈 때 발생합니다. 각 오류의 빈도는 탐지기, 임계값, 그리고 제출된 텍스트가 테스트에 사용된 자료와 얼마나 유사한지에 따라 달라집니다.

AI 탐지기의 정확도는 얼마나 되나요?

AI 탐지기에 대한 단 하나의 정확도율이란 존재하지 않습니다. 성능은 언어, 길이, 주제, 작문 스타일, 생성 모델, 편집량에 따라 달라질 수 있습니다. 정확도 주장은 테스트 조건이 검토 중인 글과 유사하고 결과가 성공적인 탐지뿐만 아니라 위양성도 보고할 때 가장 유용합니다.

AI 탐지 백분율은 무슨 뜻인가요?

정의는 도구에 따라 다릅니다. 문서가 AI에 의해 생성되었을 추정 확률, 플래그가 지정된 자격 요건 산문의 비율, 또는 결과에 대한 일종의 신뢰도를 나타낼 수 있습니다. 탐지기 설명서에는 어떤 측정값을 보고하는지 설명되어 있어야 합니다.

AI 탐지기가 누군가 AI를 사용했다는 것을 증명할 수 있나요?

탐지기 점수만으로는 문서가 어떻게 생성되었는지 증명할 수 없습니다. 제출된 텍스트를 분석할 뿐 그 이면에 있는 프롬프트, 초안, 수정본 또는 연구 내용은 볼 수 없습니다. 신뢰할 수 있는 검토를 위해서는 프로세스 증거 및 허용되는 AI 사용을 규정하는 정책과 함께 점수를 고려해야 합니다.

인간의 글이 가끔 AI로 오인되는 이유는 무엇인가요?

인간과 AI가 생성한 글은 동일한 통계적 패턴을 공유할 수 있습니다. 정형화된 언어, 예측 가능한 어구, 제한된 어휘 또는 탐지기의 학습 데이터와 다른 스타일은 위양성의 원인이 될 수 있습니다. 또한 연구에 따르면 2023년에 테스트된 일부 탐지기는 비영어권 원어민이 작성한 에세이를 과도하게 플래그 처리한 것으로 나타났습니다.