Computadores já corrigem provas dissertativas, mas são enganados por gerador de lero-lero
A internet permite oferecer cursos online a um grande número de alunos: é o que se chama de MOOC, sigla para “Curso Online Aberto e Massivo”. Distribuir conhecimento para mais pessoas sempre é um objetivo louvável, mas a situação se complica na hora de avaliar se todos aprenderam. Quando é necessário aplicar provas dissertativas aos […]
A internet permite oferecer cursos online a um grande número de alunos: é o que se chama de MOOC, sigla para “Curso Online Aberto e Massivo”. Distribuir conhecimento para mais pessoas sempre é um objetivo louvável, mas a situação se complica na hora de avaliar se todos aprenderam.
Quando é necessário aplicar provas dissertativas aos alunos, gera-se um enorme volume de textos a corrigir. Computadores podem ajudar na tarefa, tornando-a automática; infelizmente, eles se deixam enganar facilmente.
O acadêmico Les Perelman se uniu a universitários do MIT e Harvard para criar o Babel, sigla para “gerador automático de linguagem para textos sem sentido”. Em menos de um segundo, ele cria textos carregados de termos cultos, baseado em uma palavra-chave que você fornecer. Os ensaios não fazem sentido, mas computadores dão nota quase máxima ao avaliá-los.
O problema fundamental de Perelman com autômatos que dão notas, ele explica, é que eles “não medem os elementos reais que têm a ver com a escrita”. Eles não podem ler significado, nem verificar fatos. E principalmente, eles não podem diferenciar textos sem sentido de uma escrita lúcida.
O MIT desenvolve um sistema de avaliação automática chamado EASE. Funciona assim: primeiro, o professor dá nota a uma série de textos; depois, o computador os escaneia e assimila os padrões que resultam em notas maiores ou menores. Basicamente, ele tenta replicar os critérios do professor ao dar notas.
O EASE tem código aberto e é usado tanto em cursos online como presenciais. Daniel A. Bonevac, professor de filosofia na University of Texas at Austin, lecionou um curso em MOOC e de forma tradicional, e pediu três ensaios. Ele calibrou o EASE dando nota a cem trabalhos de alunos online. Então, o software corrigiu as provas dos alunos presenciais. Todos também receberam uma terceira avaliação dos assistentes do professor.
No fim do semestre, Bonevac comparou as notas dadas por computador contra as suas próprias, e contra as dadas pelos assistentes, e notou que a maioria delas não apresentava divergências – o EASE, em geral, funcionou. É um resultado que vemos também em estudos mais abrangentes.
Mas Perelman diz que o EASE é facilmente enganado pelos textos lero-lero do Babel; ou seja, há um problema fundamental em deixar computadores corrigirem provas. Como resolver isto? Perelman promete trabalhar com a equipe do EASE para ver se o Babel pode “vaciná-lo” contra algumas das fraquezas que ele expôs.
Por enquanto, a melhor forma de lidar com enormes volumes de provas dissertativas é uma combinação de métodos; computadores e humanos podem trabalhar juntos, afinal. A reportagem completa sobre o Babel vale ser lida, e está bem aqui: [Chronicle of Higher Education via Popular Science via Engadget]
fique por dentro das novidades giz
Inscreva-se agora para receber em primeira mão todas as notícias sobre tecnologia, ciência e cultura, reviews e comparativos exclusivos de produtos, além de descontos imperdíveis em ofertas exclusivas
