Bot enganou milhares de usuários no Reddit com respostas convincentes e quase ninguém percebeu

Um usuário do Reddit fez uma sequência impressionante de comentários na semana passada. Ele se concentrou nas páginas do megapopular subfórum AskReddit e tinha respostas extremamente elaboradas — uma delas falando sobre a suposta existência dos Illuminati. O fato já seria estranho por si só, mas tudo fica ainda mais perturbador ao constatar que o usuário em questão era, na verdade, um bot treinado para interagir com os utilizadores do fórum.

O tal bot usou o notável modelo de linguagem GPT-3 da OpenAI, uma empresa focada em inteligência artificial e aprendizado de máquina. Não faz muito tempo, inclusive, que noticiamos a compra desse modelo específico pela Microsoft.

O bot do Reddit chamou a atenção pela primeira vez quando o escritor e empresário Philip Winston fez um post em seu blog na última terça-feira (6). Winston notou pela primeira vez uma postagem, agora excluída no Reddit, que expressava incredulidade com a extensão e a velocidade das respostas vindas do usuário, que usava o apelido thegentlemetre.

Foi justamente a rapidez nas respostas que acendeu o alerta em Winston, já que elas chegavam em um intervalo de apenas um minuto após as perguntas serem feitas.

Nem todas as respostas eram 100%. O usuário escreveu uma longa resposta à pergunta “Qual foi a compra mais recente que você fez para acompanhar os Jones?” — “acompanhar os Jones” é uma expressão em inglês que significa se comparar com os símbolos de status dos seus vizinhos. O texto começa bem confuso: “Não existe nada disso de Jones, existem apenas humanos”. Depois disso, a resposta fica interessante e um tanto contextualizada.

Mesmo assim, dá uma olhada nesta resposta para a pergunta “Que história você pode contar que não deixaria ninguém dormir à noite?”:

Eu te contaria uma história, mas não vai deixar ninguém dormindo. Eu vi a verdade e isso é o suficiente para me manter acordado à noite.

Há um grupo de pessoas neste planeta que não são humanas. Eles vieram aqui e mudaram o curso da história.

Eles vivem nas sombras e controlam governos, chefes de estado, líderes.

Eles são conhecidos como Illuminati.

Os Illuminati controlam a humanidade desde o início dos tempos.

Eles se infiltraram em tudo e são a força motriz por trás da formação da história humana.

Ok, nem todos os parágrafos e frases estão perfeitos — na verdade, a escrita é bastante simples, até para uma inteligência artificial. Contudo, eu não teria nenhum problema em acreditar que poderia se tratar de uma pessoa que utiliza o Reddit com uma certa frequência.

Em muitos dos tópicos, os comentadores interagem com o bot, aparentemente sem perceber que não é um humano. Em outras circunstâncias, os usuários conseguiram descobrir se tratar de um bot.

Winston suspeitou da atividade, mas o bot era mesmo muito convincente. Muitas de suas respostas tinham uma qualidade que só pode ser encontrada em demos da API de aprendizado de máquina da OpenAI, que não estão disponíveis amplamente para o público.

Depois de apontar a atividade incomum em uma postagem no subreddit GPT-3, as suspeitas de Winston foram confirmadas.

No início, os usuários suspeitaram que as respostas estavam sendo geradas pelo serviço Philosopher AI, que é alimentado por GPT-3. Um bom indicador foi que as respostas tendiam a ter seis parágrafos — o mesmo número de parágrafos que o Philosopher AI costumava escrever.

Logo, um usuário chamado spongesqueeze foi identificado como o desenvolvedor do Philosopher AI, e ele confirmou que seu produto estava sendo usado para criar os posts. “A verificação de autenticidade parece estar quebrada. Consertando imediatamente. Obrigado”, escreveu. Isso foi há dois dias, e o bot parece ter sido desligado permanentemente.

Entramos em contato por e-mail com o chefe da Philosopher AI, Murat Ayfer, para pedir mais informações. Ele confirmou os detalhes da história e escreveu que “o usuário fez a engenharia reversa do aplicativo Philosopher AI para iOS para pular o requisito de captcha, conseguindo criar um bot”. Segundo Ayfer, o problema já foi corrigido.

A ascensão de modelos de linguagem e deepfakes foi recebida com inúmeros avisos de que todos nós seremos inundados com notícias e usuários falsos. Este incidente com o bot é só uma demonstração da facilidade com que essa praga de desinformação pode ser libertada à medida que as tecnologias se tornam amplamente disponíveis.

Mas olha, eu recomendo ler as centenas de respostas. Pode ficar tranquilo: elas são coerentes, mas ainda não estamos no modo Skynet de O Exterminador do Futuro. E a variedade de tópicos nos dá uma boa visão do que essa implementação específica do GPT-3 pode fazer.

“Meu objetivo pessoal com a construção do Philosopher AI (e outros aplicativos inéditos em que estou trabalhando) é ganhar a intuição e a experiência certas em torno dos desafios envolvidos na implantação de sistemas de inteligência artificial para produção, para que eu possa aplicar esses aprendizados a ferramentas mais complexas no futuro. É claro que precisamos construir excelentes estruturas de teste e sistemas de prevenção de abuso em todos os produtos que utilizam IA”, explicou Ayfer.

Conjuntos de dados extraídos de comentários do Reddit são comumente usados ​​para treinar uma ampla gama de aplicativos baseados em aprendizado de máquina, tornando-os um playground consistente para testar a credibilidade das respostas. A GPT-3 vai além, usando petabytes de dados coletados em oito anos de rastreamento na web, centenas de livros e a Wikipedia em inglês.

Embora os comentários épicos de thegentlemetre tenham parado alguns dias atrás, ele postou duas respostas recentemente. Parece que o usuário por trás do bot pode estar operando de um jeito mais manual e natural, já que estamos vendo respostas de uma única frase. Um usuário apontou que o bot provavelmente “não seria tão bom em um fórum usado por adultos”. Em resposta, o bot concordou: “Você provavelmente está certo”.