Recurso de iluminação de fotos da Apple pode, em breve, estar disponível até mesmo nos smartphones mais baratos

Pesquisadores do Google e da Universidade da Califórnia descobriram como recriar recurso de iluminação de fotos da Apple em celulares com câmera básica.
GIF: Google, USC San Diego/YouTube

Nem mesmo os smartphones mais caros conseguem igualar a qualidade de imagem das câmeras digitais mais caras, mas com um processador robusto à sua disposição, os celulares permitem que você faça muito mais com as fotos tiradas. O Modo Retrato do iPhone é um bom exemplo, permitindo que você ajuste a iluminação de uma foto depois de tirá-la, mas é um recurso limitado aos aparelhos de ponta da Apple. Pesquisadores do Google e da Universidade da Califórnia, em San Diego, descobriram uma maneira de recriar esse recurso, com resultados ainda melhores, mesmo nos aparelhos equipados com uma câmera mais básica.

O Modo Retrato da Apple usa as múltiplas câmeras do smartphone na parte traseira para tirar várias fotos da mesma cena, que são comparadas umas com as outras em um software para gerar automaticamente um mapa de profundidade da imagem.

Em termos leigos, um mapa de profundidade é uma simples representação em preto e branco de uma imagem que define o quão longe os objetos de uma cena estavam da câmera. Ele permite que o Modo Retrato separe objetos em primeiro plano, como pessoas e animais de estimação, do fundo de uma imagem para que ela possa ficar desfocada para ajudar a atrair o olho humano para as partes mais importantes. Mas também permite ao Portrait Lighting (ou Iluminação de Retrato) do iOS distinguir detalhes no rosto de uma pessoa para que os ajustes de iluminação, que são completamente falsos, pareçam o mais natural e genuíno possível.

Como os pesquisadores do Google Research e da UC San Diego já mostraram, um recurso como mudar a iluminação de uma foto depois de tirá-la pode em breve não exigir um smartphone ultra caro com várias câmeras traseiras. Em um documento apresentado na conferência Siggraph de 2019, que acontecerá em Los Angeles, Califórnia, na próxima semana, os pesquisadores detalham como uma IA adequadamente treinada pode recriar a mesma funcionalidade, mas com apenas um hardware básico de câmera e resultados comprovadamente melhores.

A rede neural usada para este processo foi treinada em um grupo comparativamente pequeno de pessoas e grupos demográficos: apenas 18 indivíduos foram colocados em um palco de luz especialmente construído e fotografados de sete ângulos diferentes enquanto rodeados por uma esfera de luzes de 307 direções diferentes. Os resultados renderam um banco de dados muito maior de retratos humanos, demonstrando centenas de maneiras pelas quais o rosto humano aparece e reage à luz vinda de diferentes direções, de acordo com os pesquisadores.

A demografia dos sujeitos, que incluiu “7 homens caucasianos, 7 homens asiáticos, 2 mulheres caucasianas, 1 mulher asiática e 1 mulher de ascendência africana” inclinou-se para aqueles com tons de pele mais claros, então os pesquisadores montaram seletivamente e manualmente os conjuntos de treinamento para evitar minorias sub-representadas.

Ao analisar esses resultados, os pesquisadores afirmam que a inteligência artificial foi capaz de aprender a aplicar os mesmos resultados em fotos existentes para recriar quase todas as condições de iluminação no rosto de um ser humano, incluindo a opção de alterar o plano de fundo.

Para efeito de comparação, o recurso de iluminação de retrato da Apple oferecerá apenas seis opções de re-iluminação diferentes quando o iOS 13 chegar em setembro. Essa nova abordagem poderia, teoricamente, permitir que um usuário reposicione a fonte de luz em qualquer lugar que desejar no espaço 3D, com os resultados apropriados aplicados à imagem, incluindo sombras e cores precisas no rosto de um indivíduo.

Os pesquisadores afirmam que a técnica pode gerar uma imagem de 640×640 pixels em apenas 160 milissegundos. Isso é rápido o suficiente para gerar visualizações escaladas em tempo real na tela de um smartphone. Mas para processar uma imagem completa de 12 megapixels capturada por um smartphone moderno, isso equivale a cerca de 4,7 segundos de processamento. O que não é exatamente em tempo real, e a equipe de pesquisa não detalha que tipo de processador foi usado para alcançar os resultados. Poderia ter sido um desktop. Mas a cada ano os processadores móveis veem um aumento no desempenho e, se essa tecnologia for implementada em um sistema operacional móvel como o Android, o trabalho pesado de processamento sempre pode ser transferido para a nuvem e um servidor poderoso em algum lugar, fazendo com que os tempos de processamento sejam insignificantes.

fique por dentro
das novidades giz Inscreva-se agora para receber em primeira mão todas as notícias sobre tecnologia, ciência e cultura, reviews e comparativos exclusivos de produtos, além de descontos imperdíveis em ofertas exclusivas