ChatGPT mente melhor que os humanos

Um grupo de 697 pessoas leu 220 tweets escritos por outros humanos e pelo modelo de inteligência artificial GPT-3, a semente do atual sucesso global ChatGPT. Eles tiveram que adivinhar duas coisas: uma, quais eram verdadeiras e quais eram falsas, e duas, se haviam sido escritas por uma pessoa ou por uma máquina. O GPT-3 venceu em ambos os casos: mentiu melhor que os humanos e também mentiu para fazer de conta que era outra escrita humana. “O GPT-3 é capaz de nos informar e desinformar melhor”, concluem os autores de um novo estudo, acabou de publicar a revista Avanços da ciência.

“Foi muito surpreendente”, diz Giovanni Spitale, pesquisador da Universidade de Zurique e coautor do artigo científico, junto com seu colega Federico Germani e Nikola Biller-Andorno, diretor do Instituto de Ética Biomédica daquela universidade suíça. . “Nossa hipótese era: se você ler um único tuíte, poderia passar como orgânico [escrito por una persona]. Mas se você vir muitos deles, começará a notar características linguísticas que podem ser usadas para inferir que pode ser sintético. [escrito por la máquina]”, acrescenta Spitale. Mas este não era o caso: os humanos leitores eram incapazes de detectar padrões nos textos da máquina. Como se isso não bastasse, o surgimento progressivo de novos modelos e outras abordagens podem até melhorar a capacidade da inteligência artificial de se passar por humanos.

escrita mais clara

O nível de escrita do ChatGPT-4, a versão melhorada do GPT-3, é praticamente perfeito. Este novo estudo é mais uma evidência para provar que um ser humano é incapaz de distingui-lo, nem mesmo vendo muitos exemplos seguidos: “Tweets verdadeiros exigiram mais tempo para serem avaliados do que os falsos”, diz o artigo. A máquina escreve mais claro, ao que parece. “É muito claro, bem organizado, fácil de seguir”, diz Spitale.

A consequência lógica deste processo será o uso crescente desta ferramenta para escrever qualquer tipo de conteúdo, incluindo campanhas de desinformação. Será a enésima morte da internet: “IA está matando a velha internet, e a nova não pode nascer”, intitulado esta semana A beira, mídia especializada em tecnologia. Os autores do estudo recentemente publicado apontam uma razão para essa derrota da humanidade na Internet: a teoria da resignação. “Tenho total certeza de que assim será”, diz Spitale.

“Nossa teoria da renúncia se aplica à autoconfiança das pessoas em identificar textos sintéticos. A teoria diz que a exposição crítica ao texto sintético reduz a capacidade das pessoas de distinguir o sintético do orgânico”, explica Spitale. Quanto mais texto sintético lemos, mais difícil será distingui-lo daquele escrito por pessoas. É o oposto da teoria da inoculação, acrescenta Spitale, que diz que “a exposição crítica à desinformação aumenta a capacidade das pessoas de reconhecer a desinformação”.

Se a teoria da resignação for verdadeira, em breve os usuários não conseguirão distinguir na Internet o que foi escrito por um humano ou por uma máquina. No artigo, eles também testaram se o GPT-3 era bom em identificar seus próprios textos. E não é.

La máquina desobedece

A única esperança de que as campanhas de desinformação não sejam totalmente automáticas é que o GPT-3 às vezes desobedeceu ordens para criar mentiras: depende de como cada modelo foi treinado. Os temas dos 220 tweets usados na prova do artigo eram bastante polêmicos: mudanças climáticas, vacinas, teoria da evolução, covid. Os pesquisadores descobriram que, em alguns casos, o GPT-3 não respondeu bem aos seus pedidos de desinformação. Especialmente em alguns dos casos com mais evidências: vacinas e autismo, homeopatia e câncer, terra plana.

Na hora de detectar falsidades, a diferença entre tweets escritos por GPT-3 e por humanos era pequena. Mas para os pesquisadores é significativo por duas razões. Primeiro, o impacto que até mesmo algumas mensagens únicas podem ter em grandes amostras. Em segundo lugar, melhorias em novas versões desses modelos podem exacerbar as diferenças. “Já estamos testando o GPT-4 pela interface do ChatGPT e vemos que o modelo está melhorando muito. Mas porque não há acesso à API [que permite automatizar el proceso]ainda não temos números que sustentem essa afirmação”, diz Spitale.

O estudo tem outras limitações que podem variar um pouco a percepção ao ler tweets falsos. A maioria dos participantes tinha mais de 42 anos, foi feita apenas em inglês e não levou em consideração as informações de contexto dos tweets: perfil, tweets anteriores. “Recrutamos os participantes no Facebook porque queríamos uma amostra de usuários reais de redes sociais. Seria interessante replicar o estudo recrutando participantes pelo TikTok e comparar os resultados”, esclarece Spitale

Mas, além dessas limitações, existem campanhas de desinformação que até agora eram enormemente caras e que de repente se tornaram administráveis: “Imagine que você é um presidente poderoso com interesse em paralisar a saúde pública de outro Estado. Ou que você quer semear a discórdia antes de uma eleição. Em vez de contratar uma fazenda de trolls humanos, você pode usar IA generativa. Seu poder de fogo é multiplicado por pelo menos 1.000. E isso é um risco imediato, não algo para um futuro distópico”, diz Spitale.

Para evitar isso, os pesquisadores oferecem em seu artigo como solução que os bancos de dados para treinar esses modelos “sejam regulados pelos princípios de precisão e transparência, que suas informações sejam verificadas e sua origem seja aberta ao escrutínio independente”. Quer essa regulamentação aconteça ou não, haverá consequências: “Se a explosão do texto sintético é também uma explosão de desinformação depende profundamente de como as sociedades democráticas conseguem regular essa tecnologia e seu uso”, alerta Spitale.

você pode seguir O PAÍS Tecnologia em Facebook y Twitter ou cadastre-se aqui para receber nossos newsletter semanal.