Quando você tira uma foto com o seu smartphone, um algoritmo se encarrega de fazer um pós-processamento na imagem e esconder alguns defeitos. Cada sistema e marca de celular aplica ajustes diferentes, e, às vezes, eles geram fotografias artificiais.
• Sony A9: fotografar com esta câmera parece até trapaça
• Inteligência artificial é desenvolvida para transformar fotos de comida em lista de ingredientes
Embora os sensores estejam ficando melhores, apenas o hardware não é o suficiente. O Google, por exemplo, está investindo em pesquisa no campo de fotografia computacional, junto com o MIT, para melhorar o pós-processamento – o último avanço é um algoritmo que consegue retocar as imagens em tempo real, antes mesmo de você clicar.
Essa inteligência artificial utilizou machine learning (aprendizado de máquina, em português) para identificar padrões em um banco de dados de cinco mil imagens, criado pelo MIT em conjunto com a Adobe. Cada foto do banco de dados foi editada por cinco fotógrafos diferentes, e, com base nas alterações, a IA aprendeu quais são os parâmetros que precisam ser modificados em cada situação, aumentando o brilho de uma determinada região da imagem, consertando algumas cores em outra parte e assim por diante.
O sistema seria capaz também de aprender o estilo de um determinado fotógrafo, como se fosse um filtro próprio dele – o método é bem similar ao que aplicativos como o Prisma utilizam para transformar cenas em pinturas, por exemplo.
O grande desafio aqui é o tempo para processamento e o consumo de energia para realizar esses retoques, ainda mais em tempo real. Esse projeto, inclusive, foi baseado numa solução parecida que os pesquisadores já tinham desenvolvido, mas que dependia de enviar a imagem para a nuvem, para aplicar as modificações. Para contornar o problema, grande parte do processamento da imagem é feita em uma versão de baixa resolução, o que reduz drasticamente o tempo e a energia necessários.
Só isso não é o suficiente, e fazer o “upscale” de uma imagem de baixa resolução não leva a resultados tão satisfatórios. O MIT News explica que o que sai do sistema não é uma imagem, e sim uma série de fórmulas simples para modificar as cores dos pixels da imagem – para julgar a performance, o sistema analisa o quão próxima está a fórmula – quando aplicada na imagem original – da versão retocada. Eles realizam ainda um mapeamento em grade, e a modificação do valor de cor do pixel é uma combinação das fórmulas em cada uma delas, ponderada de acordo com a distância.
Basicamente, as informações sobre a edição da imagem são expressadas matematicamente, em vez de em uma foto em alta resolução. Todo o trabalho depois é aplicado na imagem final, dentro de segundos. Esse mesmo processo pode acelerar os algoritmos existentes de processamento de imagem. Em testes envolvendo um novo algoritmo do Google para produzir imagens HDR, o novo sistema produziu resultados que eram visivelmente indistinguíveis dos algoritmos e em apenas um décimo do tempo, o que seria rápido o suficiente para mostrar o conteúdo em tempo real.
Não há nenhuma previsão para que o algoritmo seja incorporado a um aplicativo ou sistema de alguma fabricante, mas uma hora ou outra veremos isso nos nossos smartphones. Como aponta o Verge, o Google tem utilizado algoritmos para produção de HDR+ em seus dispositivos, desde o Nexus 6.
[MIT]
Imagem do topo: Alessandro Junior/Gizmodo