Texto verdadeiro ou falso? Podemos aprender a identificar a diferença

Cientistas da computação da Universidade da Pensilvânia provam que as pessoas podem ser treinadas para distinguir entre texto gerado por IA e escrito por humanos. Seu novo artigo apresenta os resultados do maior estudo humano de todos os tempos sobre detecção de IA.

A geração mais recente de chatbots trouxe à tona preocupações de longa data sobre a crescente sofisticação e acessibilidade da inteligência artificial.

Os temores sobre a integridade do mercado de trabalho - da economia criativa à classe gerencial - se espalharam para a sala de aula, à medida que os educadores repensam o aprendizado após o ChatGPT.

No entanto, embora as apreensões sobre empregos e escolas dominem as manchetes, a verdade é que os efeitos de modelos de linguagem em larga escala, como o ChatGPT, tocarão praticamente todos os cantos de nossas vidas. Essas novas ferramentas levantam preocupações em toda a sociedade sobre o papel da inteligência artificial em reforçar preconceitos sociais, cometer fraudes e roubo de identidade, gerar notícias falsas, espalhar desinformação e muito mais.

Uma equipe de pesquisadores da Escola de Engenharia e Ciências Aplicadas da Universidade da Pensilvânia está buscando capacitar os usuários de tecnologia para mitigar esses riscos. Em um artigo revisado por pares apresentado na reunião de fevereiro de 2023 da Associação para o Avanço da Inteligência Artificial, os autores demonstram que as pessoas podem aprender a identificar a diferença entre texto gerado por máquina e escrito por humanos.

Antes de escolher uma receita, compartilhar um artigo ou fornecer os detalhes do seu cartão de crédito, é importante saber que existem etapas que você pode seguir para discernir a confiabilidade de sua fonte.

O estudo, liderado por Chris Callison-Burch, professor associado do Departamento de Ciência da Computação e da Informação (CIS), juntamente com Liam Dugan e Daphne Ippolito, Ph.D. alunos no CIS, fornece evidências de que o texto gerado por IA é detectável.

“Mostramos que as pessoas podem se treinar para reconhecer textos gerados por máquinas”, diz Callison-Burch. “As pessoas começam com um certo conjunto de suposições sobre que tipo de erros uma máquina cometeria, mas essas suposições não são necessariamente corretas. Com o tempo, com exemplos suficientes e instruções explícitas, podemos aprender a identificar os tipos de erros que as máquinas estão cometendo atualmente.”

“Atualmente, a IA é surpreendentemente boa em produzir textos muito fluentes e gramaticais”, acrescenta Dugan. “Mas comete erros. Provamos que as máquinas cometem tipos distintos de erros – erros de senso comum, erros de relevância, erros de raciocínio e erros lógicos, por exemplo – que podemos aprender a identificar.”

O estudo usa dados coletados usando texto real ou falso?, um jogo de treinamento original baseado na web.

Este jogo de treinamento é notável por transformar o método experimental padrão para estudos de detecção em uma recriação mais precisa de como as pessoas usam IA para gerar texto.

Nos métodos padrão, os participantes são solicitados a indicar de forma sim ou não se uma máquina produziu um determinado texto. Essa tarefa envolve simplesmente classificar um texto como real ou falso e as respostas são pontuadas como corretas ou incorretas.

O modelo Penn refina significativamente o estudo de detecção padrão em uma tarefa de treinamento eficaz, mostrando exemplos que começam como escritos por humanos. Cada exemplo faz a transição para o texto gerado, pedindo aos participantes que marquem onde eles acreditam que essa transição começa. Os estagiários identificam e descrevem as características do texto que indicam erro e recebem uma pontuação.

Os resultados do estudo mostram que os participantes pontuaram significativamente melhor do que o acaso, fornecendo evidências de que o texto criado por IA é, até certo ponto, detectável.

“Nosso método não apenas gamifica a tarefa, tornando-a mais envolvente, mas também fornece um contexto mais realista para o treinamento”, diz Dugan. “Textos gerados, como os produzidos pelo ChatGPT, começam com prompts fornecidos por humanos.”

O estudo fala não apenas da inteligência artificial hoje, mas também delineia um futuro reconfortante e até empolgante para nosso relacionamento com essa tecnologia.

“Cinco anos atrás”, diz Dugan, “os modelos não conseguiam se concentrar no assunto ou produzir uma frase fluente. Agora, eles raramente cometem um erro gramatical. Nosso estudo identifica o tipo de erro que caracteriza os chatbots de IA, mas é importante ter em mente que esses erros evoluíram e continuarão a evoluir. A mudança com a qual se preocupar não é que o texto escrito por IA seja indetectável. É que as pessoas precisarão continuar se treinando para reconhecer a diferença e trabalhar com o software de detecção como um complemento.”

“As pessoas estão preocupadas com a IA por razões válidas”, diz Callison-Burch. “Nosso estudo fornece evidências para aliviar essas ansiedades. Assim que pudermos aproveitar nosso otimismo sobre os geradores de texto de IA, poderemos dedicar atenção à capacidade dessas ferramentas de nos ajudar a escrever textos mais imaginativos e interessantes.”

Ippolito, colíder do estudo da Penn e atual cientista de pesquisa do Google, complementa o foco de Dugan na detecção com a ênfase de seu trabalho na exploração dos casos de uso mais eficazes para essas ferramentas. Ela contribuiu, por exemplo, para Wordcraft, uma ferramenta de escrita criativa de IA desenvolvida em conjunto com escritores publicados. Nenhum dos escritores ou pesquisadores descobriu que a IA era um substituto atraente para um escritor de ficção, mas eles encontraram um valor significativo em sua capacidade de apoiar o processo criativo.

“Meu sentimento no momento é que essas tecnologias são mais adequadas para a escrita criativa”, diz Callison-Burch. “Novidades, trabalhos de conclusão de curso ou aconselhamento jurídico são casos de mau uso porque não há garantia de factualidade.”

“Existem direções positivas empolgantes nas quais você pode impulsionar essa tecnologia”, diz Dugan. “As pessoas estão fixadas nos exemplos preocupantes, como plágio e notícias falsas, mas agora sabemos que podemos nos treinar para ser melhores leitores e escritores.”

Aprenda a identificar o texto gerado e contribua para esta pesquisa em andamento jogando Texto real ou falso aqui!

Fonte: https://bit.ly/40u7Kgf