Como funcionam os detectores de IA e por que uma pontuação isolada não pode provar a autoria

Cole uma redação, um artigo ou um e-mail em um detector de IA e, poucos segundos depois, ele poderá retornar um resultado como "85% de IA".

Parece preciso. Mas também pode ser fácil de interpretar incorretamente.

O detector não observou como o documento foi escrito. Ele analisou o texto final em busca de padrões associados à escrita gerada por IA. Dependendo da ferramenta, esses 85% podem representar a probabilidade estimada de a IA ter produzido o documento ou a proporção do texto que o detector sinalizou.

Isso torna o detector de IA útil como um sinal, especialmente quando algo precisa de uma análise mais atenta. Mas a pontuação ainda precisa de contexto e evidências de apoio antes que qualquer pessoa tire conclusões sobre quem escreveu o texto ou como o criou. Entender como os detectores produzem suas pontuações ajuda a explicar tanto o que eles conseguem capturar quanto o motivo de às vezes errarem.

O que é um detector de IA?

Um detector de escrita de IA analisa um texto finalizado e estima se ele se parece com a escrita produzida por um modelo de linguagem. O usuário normalmente cola o texto ou faz o upload de um documento. Em segundos, a ferramenta pode retornar um rótulo, uma porcentagem, passagens destacadas ou todos os três.

• Professores e instituições acadêmicas os utilizam ao revisar o trabalho dos alunos.
• Editores e equipes de conteúdo podem usá-los para rastrear textos enviados ou encomendados, enquanto algumas empresas de detecção comercializam versões para equipes de contratação que revisam materiais de candidatura.
• Escritores também verificam às vezes o seu próprio trabalho para entender como um professor, editor, cliente ou plataforma pode classificá-lo.

Nota: Os verificadores de plágio têm um propósito relacionado, mas distinto. Eles comparam um documento com material publicado e outras fontes para encontrar correspondências de linguagem. Os detectores de IA avaliam padrões na escrita enviada. Portanto, um trecho completamente original pode receber uma sinalização de IA, enquanto um texto humano copiado pode não conter nenhum sinal forte de geração por IA.

Como os detectores de IA analisam o texto

Muitos detectores de IA dependem de um classificador, um modelo de aprendizado de máquina treinado em exemplos de textos escritos por humanos e por IA. À medida que ele compara os dois, aprende quais padrões tendem a aparecer em cada um, incluindo padrões na escolha de palavras e na estrutura das frases. Em seguida, ele procura esses padrões em novos textos e produz uma previsão.

O que o detector aprende depende do que ele vê durante o treinamento. Uma ferramenta treinada em uma faixa limitada de escrita pode ter dificuldades com um novo assunto, um estilo desconhecido ou a saída de um modelo de IA que ela nunca encontrou antes. Pesquisas em diferentes tipos de texto e modelos de IA descobriram que o desempenho da detecção pode cair nessas condições.

Alguns métodos adotam uma abordagem diferente. Em vez de treinar um classificador separado, eles usam as próprias estimativas de probabilidade de um modelo de linguagem para julgar a probabilidade de ele produzir uma passagem.

• O DetectGPT, por exemplo, compara o texto original com versões ligeiramente alteradas para procurar padrões associados à geração por IA. Sua pesquisa descreve isso como um método "zero-shot" (sem treinamento prévio) porque não requer um detector treinado separadamente. O resultado pode incluir uma pontuação geral, frases destacadas ou ambos.
• O GPTZero afirma que seus destaques mostram quais frases têm maior influência em sua previsão geral. Como ele também avalia o documento em um contexto mais amplo, um trecho escaneado isoladamente pode não receber o mesmo resultado quando aparece como parte de um texto mais longo.

Cada resultado reflete tanto o texto quanto o sistema que o avalia, e é por isso que diferentes detectores podem chegar a conclusões diferentes sobre a mesma passagem.

Expandir

O que a perplexidade e a variação de ritmo medem

A Perplexity e a burstiness surgem frequentemente em explicações sobre a detecção de IA. Elas podem revelar padrões úteis em um texto, mas nenhuma delas aponta para uma única maneira de escrever que seja exclusiva da IA.

Um detalhe potencialmente confuso: a perplexidade desempenha um papel duplo aqui. Em minúsculas, é uma medida estatística. Com P maiúsculo, somos nós.

A Perplexity mede quão previsível é o texto

Os modelos de linguagem geram texto atribuindo probabilidades a possíveis tokens seguintes, que podem ser palavras inteiras ou partes de palavras. A Perplexity mede quão bem um modelo consegue prever os tokens em uma passagem.

• Menor perplexidade: O texto segue padrões que o modelo considera familiares.
• Maior perplexidade: A escolha das palavras é menos esperada.

A pontuação é específica para o modelo que realiza a avaliação e para a forma como o texto é processado; portanto, a mesma passagem pode receber pontuações de perplexidade diferentes sob configurações distintas.

Considere a frase: "Por favor, me avise se você tiver alguma dúvida." É provável que um modelo de linguagem já tenha encontrado termos semelhantes muitas vezes, tornando cada palavra relativamente fácil de prever. Isso nos diz algo sobre a familiaridade da frase. Não diz nada conclusivo sobre quem a escreveu.

A variação de ritmo mede o quanto esses padrões mudam

A variação de ritmo (burstiness) é usada de forma mais ampla nas discussões sobre detecção de IA. Em geral, descreve o quanto a escrita muda ao longo de um trecho. Isso pode incluir variação no comprimento e na estrutura das frases, ou mudanças entre linguagem altamente previsível e mais surpreendente.

• Menor variação de ritmo: As frases seguem um comprimento, estrutura ou ritmo mais consistentes.
• Maior variação de ritmo: O texto alterna entre declarações mais curtas, explicações mais longas e frases menos esperadas.

Alguns textos gerados por IA são consistentes e previsíveis, e é por isso que a variação de ritmo passou a ser associada à detecção. A escrita humana pode ter as mesmas qualidades, especialmente em contextos comerciais, acadêmicos e técnicos. Os modelos de IA também podem produzir uma linguagem mais variada quando solicitados ou editados para isso.

O GPTZero afirma que a perplexidade e a variação de ritmo foram dois dos vários recursos usados por uma versão anterior de seu detector.

O que essas medidas mostram: a perplexidade e a variação de ritmo descrevem padrões em uma passagem. Esses padrões podem ajudar a explicar por que o texto foi sinalizado, mas não conseguem estabelecer quem o escreveu.

O que significa a pontuação de um detector de IA

Um resultado de "80% de IA" parece direto. O significado depende do detector.

O GPTZero descreve a porcentagem como a probabilidade estimada pelo seu modelo de que a IA ou um ser humano tenha escrito o documento. O Turnitin usa a porcentagem para mostrar quanto da prosa qualificável seu modelo sinaliza como potencialmente gerada ou modificada por certas ferramentas de IA.

O mesmo rótulo de "80% de IA" pode, portanto, significar:

• O detector estima uma chance de 80% de que a IA tenha gerado o documento.
• O detector sinalizou 80% da prosa que avaliou.

Essas são conclusões diferentes. Uma faz uma previsão sobre o documento como um todo. A outra identifica quanto do texto correspondeu aos critérios do detector.

As pontuações de probabilidade precisam de outra verificação: a calibração. Se um detector atribui a 100 documentos uma probabilidade de IA de cerca de 80%, aproximadamente 80 deles devem realmente ser gerados por IA para que a pontuação seja bem calibrada. Testar o modelo contra exemplos com origens conhecidas mostra quão proximamente suas probabilidades correspondem aos resultados reais.

Uma porcentagem pode parecer exata antes que seu significado ou confiabilidade fiquem claros. O rótulo, o método de pontuação e o desempenho do detector determinam o que o número realmente comprova.

Expandir

O limite de corte determina o que é sinalizado

Um detector ainda precisa decidir quando uma pontuação é alta o suficiente para justificar uma ação. Essa linha divisória é chamada de limite de corte ou limiar.

Imagine que uma ferramenta pontue textos de 0 a 100 e sinalize qualquer valor acima de 70. Mudar o limite de corte para 60 deixaria todas as pontuações inalteradas, ao mesmo tempo em que aumentaria o número de documentos sinalizados.

• Um limite de corte mais baixo geralmente detecta mais textos gerados por IA, mas também sinaliza mais textos humanos incorretamente.
• Um limite de corte mais alto reduz as sinalizações incorretas, ao mesmo tempo em que permite que mais textos gerados por IA passem despercebidos. Essa compensação se aplica aos sistemas de classificação de forma geral.

Os dois erros possíveis têm nomes diferentes.

• Um falso positivo ocorre quando a escrita humana é sinalizada como gerada por IA.
• Um falso negativo ocorre quando a escrita gerada por IA passa despercebida.

O lugar onde um detector traça a linha reflete qual erro ele foi projetado para evitar. Essa escolha tem mais peso quando uma sinalização pode afetar uma nota, um emprego ou a credibilidade de alguém.

Como uma taxa de erro de 2% pode produzir quase 30% de sinalizações incorretas

O impacto de uma taxa de falsos positivos de 2% depende da quantidade de textos humanos que o detector analisa.

Considere um conjunto hipotético de 1.000 artigos:

• 50 são gerados por IA.
• 950 são escritos por humanos.
• O detector pega 90% dos artigos gerados por IA.
• Ele sinaliza incorretamente 2% dos artigos escritos por humanos.

Veja o que acontece:

O detector sinaliza 64 artigos no total. Dezenove são escritos por humanos, então quase 30% de suas sinalizações estão incorretas.

Os números de 2% e 30% medem coisas diferentes. O detector sinaliza incorretamente 2% de todos os artigos escritos por humanos. Esses erros representam quase 30% de tudo o que ele sinaliza.

Os números somam dessa forma porque o detector revisou muito mais artigos escritos por humanos do que gerados por IA. Até mesmo uma pequena taxa de erro pode produzir um número expressivo de sinalizações incorretas quando aplicada a um grupo muito maior.

O termo taxa base descreve quão comum é a escrita gerada por IA no material que está sendo verificado. À medida que essa proporção muda, o mesmo acontece com o significado de um resultado positivo. Se as taxas de verdadeiros positivos e falsos positivos do detector permanecerem as mesmas, uma sinalização geralmente será mais confiável quando a escrita gerada por IA for comum na coleção e menos confiável quando for rara.

Esses números são hipotéticos e não descrevem um detector específico. Em uma revisão real, a proporção de textos gerados por IA geralmente é desconhecida. Essa incerteza é outro motivo para tratar uma sinalização como um motivo para olhar mais de perto, em vez de uma prova de como um documento foi escrito.

A precisão depende do que foi testado no detector

Uma taxa de precisão descreve o desempenho sob um conjunto específico de condições. Antes de aplicar essa taxa a outro texto, verifique:

• A versão do detector
• O comprimento, o idioma, o assunto e o formato do texto
• O modelo de IA e as configurações usadas para gerar o material de teste
• Se o texto foi editado ou modificado deliberadamente
• Os escritores representados nas amostras escritas por humanos

Comece com as entradas suportadas pela ferramenta

O Turnitin, por exemplo, requer pelo menos 300 palavras de prosa em formato longo. Ele afirma que seu modelo não detecta de forma confiável poesias, roteiros, códigos ou outros formatos que não sejam prosa gerados por IA. Portanto, um bom desempenho em redações diz pouco sobre como o mesmo detector lidará com um poema ou um e-mail curto.

Compare o teste com a escrita do mundo real

Em 2024, pesquisadores testaram 12 detectores usando o RAID, um benchmark contendo mais de 6 milhões de passagens geradas por IA em 11 modelos e oito áreas de assunto. O desempenho caiu quando os detectores encontraram modelos desconhecidos, diferentes configurações de geração ou texto modificado deliberadamente.

Um desafio de 2025 usando o RAID produziu resultados mais fortes em condições mais familiares. Vários participantes detectaram mais de 99% do texto gerado por máquina, mantendo uma taxa de falsos positivos de 5%. As áreas de assunto e os modelos de IA usados no teste também estavam representados nos dados de treinamento.

Juntos, os resultados mostram que os detectores podem ter um bom desempenho em materiais variados que foram treinados para reconhecer, enquanto materiais desconhecidos continuam mais difíceis de avaliar.

Observe quem estava representado

Em um estudo de 2023, sete detectores classificaram incorretamente uma média de 61,3% de 91 redações do TOEFL escritas por falantes não nativos de inglês como geradas por IA. Esse resultado se aplica às ferramentas e amostras testadas na época. Ele também mostra por que uma taxa de precisão geral pode não descrever o desempenho da mesma forma para todos os grupos de escritores.

Como ler uma afirmação de precisão: quanto mais próximo o texto enviado estiver do material usado nos testes, mais relevante será o resultado relatado.

O documento final mostra apenas uma parte de como ele foi escrito

A IA pode desempenhar muitos papéis no processo de escrita. Alguém pode usá-la para pesquisar um tópico, organizar notas, traduzir uma passagem, polir uma frase ou produzir um primeiro rascunho.

Esses fluxos de trabalho podem levar a documentos muito diferentes. Um escritor pode usar a IA para pesquisar e redigir cada frase de forma independente. Outro pode reescrever substancialmente um rascunho gerado por IA. Um terceiro pode adicionar um parágrafo gerado a um artigo que, no restante, foi escrito por um humano.

Um detector de texto vê as palavras que foram enviadas. Ele não tem acesso aos prompts, edições ou decisões que vieram antes delas. Sua pontuação não consegue reconstruir todo o processo de escrita nem determinar se o autor seguiu uma determinada política. Por exemplo,

• Uma escola pode permitir o brainstorming, mas exigir que os alunos escrevam a tarefa por conta própria.
• Um editor pode permitir a edição assistida por IA quando isso for divulgado.
• Um ambiente de trabalho pode se importar mais com a precisão factual, a confidencialidade ou a atribuição de fontes do que com o fato de a IA ter contribuído para a redação.

A aplicação dessas regras exige evidências sobre o processo, bem como sobre o texto final. O histórico de rascunhos, as notas de pesquisa e a explicação de um escritor podem fornecer um contexto que um detector não consegue. O Turnitin aconselha explicitamente os educadores a não usarem sua pontuação de escrita por IA como a única base para medidas disciplinares contra um aluno.

Um detector pode identificar uma linguagem que se assemelha aos padrões que ele associa à IA. Decidir o que aconteceu e se isso era permitido exige uma revisão mais ampla.

As marcas d'água adicionam um tipo diferente de sinal

Alguns sistemas de IA podem adicionar um padrão detectável à medida que geram texto. Esse processo é chamado de marca d'água (watermarking).

Como funciona uma marca d'água de texto

O SynthID do Google DeepMind fornece um exemplo:

1. O sistema ajusta as probabilidades dos tokens. Ele altera levemente a probabilidade de o modelo selecionar certas palavras ou partes de palavras.
2. Essas escolhas criam um padrão. A marca d'água foi projetada para permanecer invisível ao leitor.
3. Um detector compatível verifica a presença dela. O detector analisa o texto em busca do sinal estatístico esperado.

Como o padrão é adicionado durante a geração, ele pode fornecer informações vinculadas ao sistema que produziu o texto.

Quais são os limites da detecção por marca d'água

• O gerador deve adicioná-la. O sistema de IA precisa dar suporte e aplicar a marca d'água. A ausência de marca d'água não comprova que uma pessoa escreveu o texto.
• Uma parte suficiente do padrão deve permanecer. O Google relata que o SynthID pode resistir a alguns cortes, alterações de palavras e paráfrases leves. Reescritas extensas ou traduções podem reduzir sua confiabilidade.

As marcas d'água podem fortalecer as evidências quando um sistema compatível gerou o texto e uma parte suficiente do sinal permanece. Elas não conseguem identificar todos os textos gerados por IA.

Outros registros podem preencher mais detalhes do cenário

• O histórico de rascunhos mostra como um documento mudou ao longo do tempo.
• Notas de pesquisa conectam suas afirmações às fontes.
• Interações de IA divulgadas mostram onde uma ferramenta contribuiu.

Esses registros fornecem um contexto mais direto sobre o processo de escrita do que apenas uma pontuação baseada em padrões.

Trate uma sinalização como o início de uma revisão

O resultado de um detector torna-se mais útil quando tem um papel definido. Antes de agir com base em uma sinalização, os revisores devem entender o que a ferramenta mediu, confirmar se o texto está dentro de seu escopo e examinar as outras evidências disponíveis.

Cinco verificações podem ajudar:

1. Leia a definição da pontuação. Determine se a porcentagem representa uma probabilidade em nível de documento ou a proporção do texto sinalizado.
2. Verifique o escopo da ferramenta. Confirme se o idioma, o comprimento e o formato do documento correspondem ao que o detector suporta.
3. Revise as evidências. Examine as passagens destacadas junto com rascunhos, notas de fontes e a explicação do autor.
4. Aplique a política relevante. Identifique quais usos de IA são permitidos e quais evidências demonstrariam uma violação.
5. Avalie o trabalho em si. Revise a precisão factual, a atribuição de fontes, a originalidade e a qualidade por seus próprios méritos.

O nível de rigor deve moldar a profundidade da revisão. Um editor pode usar uma sinalização para decidir qual artigo precisa de uma nova olhada. Uma decisão que afete uma nota, um emprego ou um contrato de publicação exige evidências mais fortes e uma oportunidade para o autor explicar seu processo.

Um detector de IA comprime um julgamento complexo em uma pontuação. Interpretar essa pontuação exige informações que o número não contém: o que a ferramenta mediu, qual limite de corte ela usou, como se saiu em textos comparáveis e quão comum é o texto gerado por IA no material que está sendo revisado. A pontuação pode direcionar a atenção. A pontuação de um detector pode contribuir para essa revisão, mas qualquer conclusão sobre a autoria também exige evidências sobre o processo de escrita.

Perguntas frequentes

Os detectores de IA podem errar?

Sim. Um falso positivo ocorre quando um detector sinaliza um texto humano como gerado por IA. Um falso negativo ocorre quando um texto gerado por IA passa despercebido. A frequência de cada erro depende do detector, de seu limite e de quão semelhante o texto enviado é ao material usado para testá-lo.

Quão precisos são os detectores de IA?

Não existe uma taxa de precisão única para os detectores de IA. O desempenho pode variar com o idioma, o comprimento, o assunto, o estilo de escrita, o modelo gerador e a quantidade de edições. Uma declaração de precisão é mais útil quando as condições do teste se parecem com o texto que está sendo revisado e o resultado relata tanto os falsos positivos quanto as detecções bem-sucedidas.

O que significa uma porcentagem de detecção de IA?

A definição depende da ferramenta. Ela pode representar a probabilidade estimada de que um documento seja gerado por IA, a porcentagem de texto qualificável sinalizado ou uma forma de confiança no resultado. A documentação do detector deve explicar qual medida ele relata.

Um detector de IA pode provar que alguém usou IA?

A pontuação de um detector por si só não pode provar como um documento foi criado. Ele analisa o texto enviado sem ver os prompts, rascunhos, edições ou pesquisas por trás dele. Uma revisão confiável considera a pontuação junto com evidências do processo e a política que rege o uso aceitável de IA.

Por que a escrita humana às vezes é sinalizada como IA?

Textos humanos e gerados por IA podem compartilhar os mesmos padrões estatísticos. Linguagem formulaica, frases previsíveis, vocabulário limitado ou um estilo que difere dos dados de treinamento do detector podem contribuir para um falso positivo. Pesquisas também descobriram que alguns detectores testados em 2023 sinalizaram desproporcionalmente redações escritas por falantes não nativos de inglês.