Como os detectores de IA funcionam e por que uma pontuação isolada não pode provar a autoria

Cole uma redação, artigo ou e-mail em um detector de IA e, alguns segundos depois, ele poderá retornar um resultado como "85% IA".

Parece preciso. Mas também pode ser fácil de interpretar mal.

O detector não observou como o documento foi escrito. Ele analisou o texto final em busca de padrões associados à escrita gerada por IA. Dependendo da ferramenta, esses 85% podem representar a probabilidade estimada de que a IA produziu o documento ou a proporção do texto que o detector sinalizou.

Isso torna um detector de IA útil como um sinal, especialmente quando algo precisa de uma olhada mais de perto. Mas a pontuação ainda precisa de contexto e evidências de apoio antes que alguém tire uma conclusão sobre quem escreveu o texto ou como o criou. Entender como os detectores produzem suas pontuações ajuda a explicar tanto o que eles conseguem capturar quanto por que às vezes erram.

O que é um detector de IA?

Um detector de escrita por IA analisa um texto finalizado e estima se ele se assemelha à escrita produzida por um modelo de linguagem. Normalmente, um usuário cola o texto ou faz o upload de um documento. Em segundos, a ferramenta pode retornar um rótulo, uma porcentagem, passagens destacadas ou todos os três.

• Professores e instituições acadêmicas os usam ao revisar o trabalho dos alunos.
• Editores e equipes de conteúdo podem usá-los para triar textos enviados ou encomendados, enquanto algumas empresas de detectores comercializam versões para equipes de contratação que revisam materiais de candidatura.
• Os escritores também às vezes verificam seu próprio trabalho para entender como um professor, editor, cliente ou plataforma pode classificá-lo.

Nota: Os verificadores de plágio servem a um propósito relacionado, mas separado. Eles comparam um documento com material publicado e outras fontes para encontrar linguagem correspondente. Os detectores de IA avaliam padrões na escrita enviada. Portanto, uma passagem completamente original pode receber uma sinalização de IA, enquanto a escrita humana copiada pode não conter nenhum sinal forte de geração por IA.

Como os detectores de IA analisam o texto

Muitos detectores de IA dependem de um classificador, um modelo de aprendizado de máquina treinado em exemplos de escrita humana e gerada por IA. À medida que compara os dois, ele aprende quais padrões tendem a aparecer em cada um, incluindo padrões na escolha de palavras e na estrutura das frases. Em seguida, ele procura esses padrões em novos textos e produz uma previsão.

O que o detector aprende depende do que ele vê durante o treinamento. Uma ferramenta treinada em um intervalo limitado de escrita pode ter dificuldades com um novo assunto, um estilo unfamiliar ou a saída de um modelo de IA que ele não encontrou antes. Pesquisas em diferentes tipos de texto e modelos de IA descobriram que o desempenho da detecção pode cair nessas condições.

Alguns métodos adotam uma abordagem diferente. Em vez de treinar um classificador separado, eles usam as próprias estimativas de probabilidade de um modelo de linguagem para avaliar a probabilidade de ele produzir uma passagem.

• O DetectGPT, por exemplo, compara o texto original com versões ligeiramente alteradas para procurar padrões associados à geração por IA. Sua pesquisa descreve isso como um método "zero-shot" porque não exige um detector treinado separadamente. O resultado pode incluir uma pontuação geral, frases destacadas ou ambos.
• O GPTZero diz que seus destaques mostram quais frases têm mais influência em sua previsão geral. Como ele também avalia o documento mais amplo, uma passagem escaneada sozinha pode não receber o mesmo resultado quando aparece como parte de um texto mais longo.

Cada resultado reflete tanto o texto quanto o sistema que o avalia, e é por isso que diferentes detectores podem chegar a conclusões diferentes sobre a mesma passagem.

Expandir

O que a perplexidade e a rajada medem

A Perplexity e a rajada surgem frequentemente em explicações sobre detecção de IA. Elas podem revelar padrões úteis em um texto, mas nenhuma aponta para uma maneira única e exclusiva de escrever da IA.

Um detalhe potencialmente confuso: a perplexidade está desempenhando um papel duplo aqui. Em minúsculas, é uma medida estatística. Com P maiúsculo, somos nós.

A Perplexity mede o quão previsível é o texto

Os modelos de linguagem geram texto atribuindo probabilidades aos próximos tokens possíveis, que podem ser palavras inteiras ou partes de palavras. A Perplexity mede quão bem um modelo pode prever os tokens em uma passagem.

• Menor perplexidade: O texto segue padrões que o modelo considera familiares.
• Maior perplexidade: A escolha das palavras é menos esperada.

A pontuação é específica para o modelo que está realizando a avaliação e para a maneira como o texto é processado, de modo que a mesma passagem pode receber pontuações de perplexidade diferentes sob configurações diferentes.

Pegue a frase: "Por favor, me avise se você tiver alguma dúvida." Um modelo de linguagem provavelmente encontrou uma redação semelhante muitas vezes, tornando cada palavra relativamente fácil de prever. Isso nos diz algo sobre a familiaridade da frase. Não diz nada conclusivo sobre quem a escreveu.

A rajada mede o quanto esses padrões variam

A rajada (burstiness) é usada de forma mais ampla nas discussões sobre detecção de IA. Ela geralmente descreve o quanto a escrita muda ao longo de uma passagem. Isso pode incluir variação no comprimento e na estrutura das frases, ou mudanças entre linguagem altamente previsível e mais surpreendente.

• Menor rajada: As frases seguem um comprimento, estrutura ou ritmo mais consistentes.
• Maior rajada: A escrita alterna entre declarações mais curtas, explicações mais longas e frases menos esperadas.

Alguns textos gerados por IA são consistentes e previsíveis, e é por isso que a rajada se tornou associada à detecção. A escrita humana pode ter as mesmas qualidades, especialmente em contextos comerciais, acadêmicos e técnicos. Os modelos de IA também podem produzir linguagem mais variada quando solicitados ou editados para isso.

O GPTZero diz que a perplexidade e a rajada foram dois dos vários recursos usados por uma versão anterior de seu detector.

O que essas medidas mostram: A Perplexity e a rajada descrevem padrões em uma passagem. Esses padrões podem ajudar a explicar por que o texto foi sinalizado, mas não podem estabelecer quem o escreveu.

O que significa a pontuação de um detector de IA

Um resultado de “80% IA” parece direto. Seu significado depende do detector.

O GPTZero descreve a porcentagem como a probabilidade estimada de seu modelo de que a IA ou um ser humano tenha escrito o documento. O Turnitin usa a porcentagem para mostrar quanto da prosa qualificada seu modelo sinaliza como potencialmente gerada por IA ou modificada com certas ferramentas de IA.

Portanto, o mesmo rótulo de “80% IA” pode significar:

• O detector estima uma chance de 80% de que a IA tenha gerado o documento.
• O detector sinalizou 80% da prosa que avaliou.

Essas são conclusões diferentes. Uma faz uma previsão sobre o documento como um todo. A outra identifica quanto do texto correspondeu aos critérios do detector.

As pontuações de probabilidade precisam de outra verificação: calibração. Se um detector atribui a 100 documentos uma probabilidade de IA de cerca de 80%, aproximadamente 80 deles devem ser realmente gerados por IA para que a pontuação esteja bem calibrada. Testar o modelo em relação a exemplos com origens conhecidas mostra quão de perto suas probabilidades correspondem aos resultados reais.

Uma porcentagem pode parecer exata antes que seu significado ou confiabilidade fiquem claros. O rótulo, o método de pontuação e o desempenho do detector determinam o que o número pode sustentar.

Expandir

O limite determina o que é sinalizado

Um detector ainda precisa decidir quando uma pontuação é alta o suficiente para se agir sobre ela. Essa linha divisória é chamada de corte ou limite (threshold).

Imagine que uma ferramenta pontue o texto de 0 a 100 e sinalize qualquer valor acima de 70. Mover o corte para 60 deixaria todas as pontuações inalteradas, enquanto aumentaria o número de documentos sinalizados.

• Um limite mais baixo geralmente detecta mais escrita gerada por IA, mas também sinaliza mais escrita humana incorretamente.
• Um limite mais alto reduz as sinalizações incorretas, enquanto permite que mais escrita gerada por IA passe despercebida. Essa compensação se aplica amplamente aos sistemas de classificação.

Os dois erros possíveis têm nomes diferentes.

• Um falso positivo ocorre quando a escrita humana é sinalizada como gerada por IA.
• Um falso negativo ocorre quando a escrita gerada por IA passa despercebida.

O lugar onde um detector traça a linha reflete qual erro ele foi projetado para evitar. Essa escolha tem mais peso quando uma sinalização pode afetar uma nota, um emprego ou a credibilidade de alguém.

Como uma taxa de erro de 2% pode produzir quase 30% de sinalizações incorretas

O impacto de uma taxa de falsos positivos de 2% depende de quanta escrita humana o detector revisa.

Considere um conjunto hipotético de 1.000 artigos:

• 50 são gerados por IA.
• 950 são escritos por humanos.
• O detector captura 90% dos artigos gerados por IA.
• Ele sinaliza incorretamente 2% dos artigos escritos por humanos.

Eis o que acontece:

O detector sinaliza 64 artigos no total. Dezenove são escritos por humanos, então quase 30% de suas sinalizações estão erradas.

Os números de 2% e 30% medem coisas diferentes. O detector sinaliza incorretamente 2% de todos os artigos escritos por humanos. Esses erros representam quase 30% de tudo o que ele sinaliza.

Os números somam dessa forma porque o detector revisou muito mais artigos escritos por humanos do que gerados por IA. Mesmo uma pequena taxa de erro pode produzir um número significativo de sinalizações incorretas quando se aplica a um grupo muito maior.

O termo taxa base descreve quão comum é a escrita gerada por IA no material que está sendo verificado. À medida que essa proporção muda, o mesmo acontece com o significado de um resultado positivo. Se as taxas de verdadeiro positivo e falso positivo do detector permanecerem as mesmas, uma sinalização geralmente será mais confiável quando a escrita gerada por IA for comum na coleção e menos confiável quando for rara.

Esses números são hipotéticos e não descrevem um detector específico. Em uma revisão real, a proporção de escrita gerada por IA é geralmente desconhecida. Essa incerteza é outro motivo para tratar uma sinalização como um motivo para olhar mais de perto, em vez de uma prova de como um documento foi escrito.

A precisão depende do que foi testado no detector

Uma taxa de precisão descreve o desempenho sob um conjunto específico de condições. Antes de aplicar essa taxa a outro texto, verifique:

• A versão do detector
• A extensão, o idioma, o assunto e o formato do texto
• O modelo de IA e as configurações usadas para gerar o material de teste
• Se o texto foi editado ou modificado deliberadamente
• Os escritores representados nas amostras escritas por humanos

Comece com as entradas suportadas pela ferramenta

O Turnitin, por exemplo, requer pelo menos 300 palavras de prosa longa. Ele diz que seu modelo não detecta de forma confiável poesia, roteiros, código ou outros formatos que não sejam prosa gerados por IA. Portanto, um forte desempenho em redações nos diz pouco sobre como o mesmo detector lidará com um poema ou um e-mail curto.

Compare o teste com a escrita do mundo real

Em 2024, pesquisadores testaram 12 detectores usando o RAID, um benchmark contendo mais de 6 milhões de passagens geradas por IA em 11 modelos e oito áreas temáticas. O desempenho caiu quando os detectores encontraram modelos desconhecidos, diferentes configurações de geração ou texto modificado deliberadamente.

Um desafio de 2025 usando o RAID produziu resultados mais fortes em condições mais familiares. Vários participantes detectaram mais de 99% do texto gerado por máquina, mantendo uma taxa de falsos positivos de 5%. As áreas temáticas e os modelos de IA usados no teste também foram representados nos dados de treinamento.

Juntos, os resultados mostram que os detectores podem ter um bom desempenho em materiais variados que foram treinados para reconhecer, enquanto materiais desconhecidos continuam mais difíceis de avaliar.

Veja quem foi representado

Em um estudo de 2023, sete detectores classificaram incorretamente uma média de 61,3% de 91 redações do TOEFL escritas por falantes não nativos de inglês como geradas por IA. Esse resultado se aplica às ferramentas e amostras testadas na época. Ele também mostra por que uma taxa de precisão geral pode não descrever o desempenho igualmente bem para todos os grupos de escritores.

Como ler uma alegação de precisão: quanto mais próximo o texto enviado estiver do material usado no teste, mais relevante se torna o resultado relatado.

O documento final mostra apenas parte de como foi escrito

A IA pode desempenhar muitos papéis no processo de escrita. Alguém pode usá-la para pesquisar um tópico, organizar notas, traduzir uma passagem, polir uma frase ou produzir um primeiro rascunho.

Esses fluxos de trabalho podem levar a documentos muito diferentes. Um escritor pode usar IA para pesquisa e compor cada frase de forma independente. Outro pode reescrever substancialmente um rascunho gerado por IA. Um terceiro pode adicionar um parágrafo gerado a um artigo que, de outra forma, seria escrito por humanos.

Um detector de texto vê as palavras que foram enviadas. Ele não tem acesso aos prompts, edições ou decisões que vieram antes delas. Sua pontuação não pode reconstruir todo o processo de escrita ou determinar se o autor seguiu uma política específica. Por exemplo,

• Uma escola pode permitir o brainstorming, mas exigir que os alunos escrevam a tarefa por conta própria.
• Um editor pode permitir a edição assistida por IA quando ela for divulgada.
• Um local de trabalho pode se importar mais com a exatidão factual, confidencialidade ou atribuição de fontes do que com o fato de a IA ter contribuído para a redação.

A aplicação dessas regras exige evidências sobre o processo, bem como sobre o texto final. O histórico de rascunhos, as notas de pesquisa e a explicação de um escritor podem fornecer um contexto que um detector não consegue. O Turnitin aconselha explicitamente os educadores a não usarem sua pontuação de escrita por IA como a única base para ações adversas contra um estudante.

Un detector pode identificar uma linguagem que se assemelhe aos padrões que ele associa à IA. Decidir o que aconteceu, e se era permitido, exige uma revisão mais ampla.

As marcas d'água adicionam um tipo diferente de sinal

Alguns sistemas de IA podem adicionar um padrão detectável à medida que geram texto. Esse processo é chamado de marca d'água.

Como funciona uma marca d'água de texto

O SynthID do Google DeepMind fornece um exemplo:

1. O sistema ajusta as probabilidades de tokens. Ele altera ligeiramente a probabilidade de que o modelo selecione certas palavras ou partes de palavras.
2. Essas escolhas criam um padrão. A marca d'água foi projetada para permanecer invisível para o leitor.
3. Um detector compatível verifica isso. O detector analisa o texto em busca do sinal estatístico esperado.

Como o padrão é adicionado durante a geração, ele pode fornecer informações vinculadas ao sistema que produziu o texto.

O que limita a detecção de marcas d'água

• O gerador deve adicioná-la. O sistema de IA precisa apoiar e aplicar a marca d'água. A ausência de uma marca d'água não estabelece que uma pessoa escreveu o texto.
• Parte suficiente do padrão deve permanecer. O Google relata que o SynthID pode suportar alguns cortes, alterações de palavras e paráfrases leves. A reescrita ou tradução extensiva pode reduzir sua confiabilidade.

As marcas d'água podem fortalecer as evidências quando um sistema compatível gerou o texto e uma parte suficiente do sinal permanece. Elas não conseguem identificar todos os textos gerados por IA.

Outros registros podem preencher mais detalhes do cenário

• O histórico de rascunhos mostra como um documento mudou ao longo do tempo.
• Notas de pesquisa conectam suas alegações a fontes.
• Interações de IA divulgadas mostram onde uma ferramenta contribuiu.

Esses registros fornecem um contexto mais direto sobre o processo de escrita do que apenas uma pontuação baseada em padrões.

Trate uma sinalização como o início de uma revisão

O resultado de um detector torna-se mais útil quando ele tem um papel definido. Antes de agir com base em uma sinalização, os revisores devem entender o que a ferramenta mediu, confirmar se o texto está dentro de seu escopo e examinar as outras evidências disponíveis.

Cinco verificações podem ajudar:

1. Leia a definição da pontuação. Determine se a porcentagem representa uma probabilidade em nível de documento ou a proporção de texto sinalizado.
2. Verifique o escopo da ferramenta. Confirme se o idioma, a extensão e o formato do documento correspondem ao que o detector suporta.
3. Revise as evidências. Examine as passagens destacadas junto com rascunhos, notas de fontes e a explicação do autor.
4. Aplique a política relevante. Identifique quais usos de IA são permitidos e quais evidências demonstrariam uma violação.
5. Avalie o trabalho em si. Revise a exatidão factual, a atribuição de fontes, a originalidade e a qualidade por seus próprios méritos.

O impacto deve moldar a profundidade da revisão. Um editor pode usar uma sinalização para decidir qual artigo precisa de uma nova olhada. Uma decisão que afete uma nota, um emprego ou um contrato de publicação exige evidências mais fortes e uma oportunidade para o autor explicar seu processo.

Um detector de IA comprime um julgamento complexo em uma pontuação. A interpretação dessa pontuação requer informações que o número não contém: o que a ferramenta mediu, qual limite (threshold) ela usou, como ela se desempenhou em textos comparáveis e quão comum é o texto gerado por IA no material que está sendo revisado. A pontuação pode direcionar a atenção. A pontuação de um detector pode contribuir para essa revisão, mas qualquer conclusão sobre autoria também exige evidências sobre o processo de escrita.

Perguntas frequentes

Os detectores de IA podem errar?

Sim. Um falso positivo ocorre quando um detector sinaliza uma escrita humana como gerada por IA. Um falso negativo ocorre quando a escrita gerada por IA passa despercebida. A frequência de cada erro depende do detector, de seu limite e de quão de perto o texto enviado se assemelha ao material usado para testá-lo.

Quão precisos são os detectores de IA?

Não há uma taxa única de precisão para os detectores de IA. O desempenho pode variar de acordo com o idioma, extensão, assunto, estilo de escrita, modelo de geração e quantidade de edição. Uma alegação de precisão é mais útil quando as condições do teste se assemelham à escrita que está sendo revisada e o resultado relata falsos positivos, bem como detecções bem-sucedidas.

O que significa uma porcentagem de detecção de IA?

A definição depende da ferramenta. Ela pode representar a probabilidade estimada de que um documento seja gerado por IA, a porcentagem de texto qualificado sinalizado ou uma forma de confiança no resultado. A documentação do detector deve explicar qual medição ele relata.

Um detector de IA pode provar que alguém usou IA?

A pontuação de um detector isoladamente não pode provar como um documento foi criado. Ele analisa o texto enviado sem ver os prompts, rascunhos, edições ou pesquisas por trás dele. Uma revisão confiável considera a pontuação juntamente com evidências do processo e a política que rege o uso aceitável de IA.

Por que a escrita humana às vezes é sinalizada como IA?

A escrita humana e a gerada por IA podem compartilhar os mesmos padrões estatísticos. Linguagem formulaica, frases previsíveis, vocabulário limitado ou um estilo que difere dos dados de treinamento do detector podem contribuir para um falso positivo. A pesquisa também descobriu que alguns detectores testados em 2023 sinalizaram desproporcionalmente redações escritas por falantes não nativos de inglês.