Inteligência artificial é desenvolvida para transformar fotos de comida em lista de ingredientes

Pesquisadores do MIT desenvolveram um algoritmo com deep learning (aprendizado profundo) que é capaz de compilar uma lista de ingredientes e até mesmo receitas recomendadas depois de analisar fotos de comida. O sistema artificial inteligente ainda precisa de alguns ajustes finos, mas a ferramenta poderia um dia nos ajudar a aprender a cozinhar, contar calorias e monitorar hábitos de alimentação.

• Um algoritmo consegue diagnosticar uma doença cardíaca melhor que um humano?
• Em breve os astronautas poderão assar pão no espaço

Imagine poder tirar uma fotografia de uma refeição que você está prestes a devorar no seu restaurante favorito e então ter um aplicativo no smartphone que te ofereça a lista de ingredientes e até mesmo a receita para ajudar a fazer fazer aquilo em casa. Essa ideia está sendo desenvolvida por pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL, na sigla em inglês) do MIT. Eles precisam percorrer um longo caminho, mas começaram a treinar um sistema para realizar essas tarefas.

Utilizando machine learning (aprendizado de máquina), o programa analisa imagens de comida e a comparada com uma enorme base de dados de referência para então prever a lista de ingredientes e recomendar uma receita. Durante os testes, o sistema conseguiu mostrar a receita correta em cerca de 65% das vezes. É uma taxa de sucesso bem decente, especialmente ao considerarmos o quão complicadas e variadas são algumas refeições.

Para fazer tudo isso funcionar, um time de pesquisadores liderados pelo estudante de graduação da CSAIL, Nicholas Hynes, coletou dados de sites como All Recipes e Food.com para criar sua base de dados, chamada Recipe1M, contendo mais de um milhão de receitas. Todas as receitas foram anotadas com informações sobre os ingredientes que estão em uma grande variedade de refeições. Uma rede neural foi configurada para passear por esse monte de dados, procurando padrões e conexões entre as imagens da comida e então combinando as fotografias com os ingredientes e receitas.

Ao visualizar a foto de um muffin, por exemplo, o sistema, batizado de Pic2Recipe, consegue identificar corretamente ingredientes para farinha, ovos e manteiga. Então ele sugere diversas receitas que estão dentro da base de dados Recipe1M e escolhe a que mais se encaixa.

Como Hynes conta ao Gizmodo, o sistema é mais do que um programa de reconhecimento de comida.

“Que o programa reconhece a comida é apenas um efeito colateral de como nós utilizamos os dados disponível para aprender representações profundas de receitas e imagens”, diz. “Aquilo que estamos realmente explorando são os conceitos latentes capturados pelo modelo. Por exemplo, o modelo descobriu o significado de ‘frito’ e como isso se relacionada com ‘cozido’? Acreditamos que isso acontece e agora estamos tentando extrair o conhecimento a partir do modelo para permitir aplicações derivadas e isso inclui melhorar a saúde das pessoas”.

Hynes diz que o sistema, na sua forma atual, não foi feito para prever os ingredientes diretamente.

“O que você pode fazer, no entanto, é decodificar uma imagem e retornar com os ingredientes associados com a receita mais similar”, conta ao Gizmodo. “O que diferencia isso de pesquisa reserva por imagem é que vamos diretamente da imagem para receita, em vez de simplesmente retornar a receita associada com a imagem mais similar; em outras palavras, retornar a receita que, de acordo com o modelo, tem mais chances de ter produzido fotografia consultada”.

O sistema se saiu bem com comidas relativamente simples, como cookies e muffins. Mas quando confrontado com pratos mais complexos e ambíguos, como sushis ou smoothies, o sistema teve dificuldades. Ele também teve dificuldade para analisar comidas que possuem um número incontável de receitas. Lasanha é um bom exemplo. Existem trilhões de maneiras de fazer uma lasanha, então os pesquisadores da CSAIL precisaram se assegurar de que a inteligência artificial não iria “penalizar” ou excluir receitas que fossem similares ao tentar analisar uma lasanha ou outra. Uma maneira que eles conseguiram para contornar o problema foi fazer com que a IA observasse se os ingredientes de cada receita eram similares de alguma forma, antes de comparar entre as receitas.

Olhando para o futuro, os pesquisadores esperam treinar o sistema para que consiga entender melhor como uma comida é preparada (por exemplo, cozimento, fritura, fatias, cortes em cubos) e conseguir dizer as diferenças entre os tipos de comida (por exemplo, cogumelos e cebolas). Eles também esperam tornar o sistema em um “assistente para o jantar”, onde uma pessoa poderia incluir suas principais preferências e uma lista de itens de ingredientes disponíveis em casa, e então a IA aconselharia uma refeição baseada nesses critérios.

“Isso poderia ajudar pessoas a descobrir o que há em suas comidas quando elas não possuem informações nutricionais explicitas”, disse Hynes. “Por exemplo, se você sabe quais ingredientes foram colocados em um prato, mas não a quantidade, você pode tirar uma foto, dizer quais foram os ingredientes e rodar o modelo para encontrar receitas similares com quantidades conhecidas e então usar essa informação para aproximar os dados da sua própria refeição”.

Conceitualmente, o sistema deve permitir também realizar uma conta de calorias e, de fato, Hynes está vendo essa possibilidade.

Vai demorar um pouco até que possamos ver um aplicativo como esse em nossos smartphones, e mesmo quando ele surgir, um sistema como esse serviria apenas como um guia básico. Só porque você sabe quais ingredientes vão em um prato e como eles provavelmente são colocados ali não significa necessariamente que você se tornou um master chef.

A equipe do CSAIL planeja apresentar suas descobertas no final deste mês na conferência Computer Vision and Pattern Recognition em Honolulu, no Havaí.

Imagem do topo: Social Media Dinner/Flickr