Novo software de inteligência artificial da Microsoft escreve legendas para as suas fotos

A Microsoft lançou um novo app online que tenta entender o conteúdo de fotografias e escrever uma legenda sobre elas. Ele é surpreendentemente impressionante – na maior parte do tempo.

>>> A Microsoft quer deixar todos os apps mais espertos com inteligência artificial
>>> Microsoft pede desculpas por frases racistas ditas pela inteligência artificial Tay

Você pode simplesmente enviar uma imagem para o CaptionBot e ele escreve uma descrição para você. Vale ressaltar que a Microsoft vai armazenar todas as imagens que forem enviadas para aprender a partir delas no futuro, apesar da empresa garantir que não vai coletar nenhuma informação pessoal. Os resultados são bem impressionantes, como dá para ver em algumas dessas imagens:

À esquerda: “Não estou muito confiante, mas acho que é um vaso em frente a uma janela.”
À direita: “Acho que é um par de sapatos.”

Não é a primeira inteligência artificial que escreve legendas. Há alguns anos o Google anunciou que escreveu uma série de algoritmos impressionantes que faziam exatamente a mesma coisa. A solução da Microsoft funciona mais ou menos da mesma forma.

Ela combina duas redes neurais: uma lida com o reconhecimento de imagem, a outra com processamento de linguagem natural. Ao estudar imagens catalogadas, o software combina características de imagens com descrições humanas do que elas mostram, e então reproduz o processo quando é apresentado a novas imagens.

Nem sempre funciona perfeitamente, e ele tem dificuldade com imagens mais abstratas. Mas no geral é bastante impressionante e mesmo quando erra dá para entender como foi que o software se confundiu.

À esquerda: Acho que é uma banana em cima de uma tábua de madeira
À direita: Não tenho certeza, mas acho que é uma mulher em um espelho e ele parece espantado

A ferramenta se junta a um pacote de apps criados pela equipe de pesquisa da Microsoft que conseguem fazer coisas como adivinhar a sua idade ou emoção a partir de uma única fotografia. Você pode testá-lo aqui.

[Microsoft CaptionBot via Daily Dot via Engadget]