Estudantes foram enganados por uma assistente baseada em inteligência artificial

Estudantes que fizeram um curso online na Escola de Computação Interativa em Georgia Tech, nos EUA, foram levados a acreditar que uma das assistentes de ensino, chamada Jill Watson, era um ser humano. Ela, simplesmente, conseguia responder muitas das dúvidas dos alunos.

Estar certo de alguma coisa não é a mesma coisa de estar correto. Mas o professor de ciência da computação Ashok Goel acha que é um nível de confiança o suficiente para permitir que a assistente virtual chamada Jill Watson respondesse às dúvidas dos estudantes por conta própria. Durante o mês de abril quase inteiro, Jill respondia diretamente aos alunos através de um fórum online, mas só quando ela tinha 97% de certeza de que suas respostas eram certas.

Os estudantes não sabiam que estavam interagindo com uma assistente virtual até o dia 26 de abril. De acordo com um comunicado do Georgia Tech, a resposta dos estudantes foi “uniformemente positiva”. Eles ficaram bastante surpresos com a revelação, mas acharam a ideia muito boa.

O curso, chamado Inteligência Artificial baseada em Conhecimento, é exigido para o programa online de ciência da computação do Georgia Tech. Cerca de 300 estudantes fazem o curso anualmente, e eles postam cerca de 10.000 mensagens nos fóruns online, o que é muito mais do que os oito assistentes de educação conseguem lidar. Para solucionar isso, Goel e seus estudantes de graduação desenvolveram a assistente virtual, que foi feita em cima da plataforma IBM Watson.

Para desenvolver o sistema, Goel e sua equipe coletaram cerca de 40.000 questões que tinham sido perguntadas pelos fóruns desde que o curso foi lançado em 2014. Eles alimentaram Jill com todas essas perguntas e respostas.

“Um dos segredos das aulas online é que o número de questões aumenta se você tem mais estudantes, mas o número de perguntas diferentes não cresce,” notou Goel. “Estudantes tendem a fazer as mesmas perguntas sempre.”

Este cenário é perfeito para a plataforma Watson, um processador de linguagem natural potente que é especializado em responder questões com soluções claras e distintas.

Quando o projeto foi lançado em janeiro, Jill não era muito boa em responder as questões e frequentemente dava respostas estranhas e irrelevantes. Essas respostas não eram compartilhadas com os alunos do curso.

“Inicialmente, as respostas dela não eram boas o suficiente porque ela ficava presa a palavras-chave,” explicou Lalith Polepeddi, um dos estudantes que trabalhou no projeto. “Por exemplo, um estudante perguntou sobre organizar uma reunião para acompanhar aulas em vídeo com outros, e Jill deu uma resposta com referência a um livro didático que poderia substituir as aulas em vídeo – mesmas palavras-chave – mas em um contexto diferente. Então aprendemos com erros como esse, e gradualmente fizemos ela ficar mais esperta.”

No fim das contas Jill ficou tão boa nessas tarefas que os pesquisadores estavam prontos para postar suas respostas diretamente no fórum de estudantes, o que começou a acontecer no fim de março.

Goel quer reproduzir o projeto no próximo semestre, mas com um novo nome. O objetivo é ter um assistente virtual que responda a 40% das questões até o fim do ano (e ainda mantendo a marca de 97% de certeza antes das respostas entrarem no fórum).

Naturalmente, é um pouco perturbador ouvir que robôs podem nos substituir em mais um trabalho. Mas isso pode acabar sendo uma coisa boa, já que muitos estudantes acabam abandonando cursos por não receberem apoio adequado dos professores. Jill foi desenvolvida com essa necessidade em mente. Claro, Jill, ou qualquer descendente digital que ela tiver, não vai conseguir responder questões mais complicadas, particularmente as feitas em outros cursos como filosofia ou ciências sociais. Então ainda vai demorar até que essas assistentes virtuais baseados em inteligência artificial substituam completamente os professores – se é que isso um dia vai acontecer.

[Georgia Tech]

Foto: Shutterstock