Um dos efeitos de vídeo mais difíceis de se falsificar é o slow motion. Ele exige software para esticar um clipe ao criar centenas de quadros não existentes entre dois outros quadros, e os resultados, frequentemente, são travados e pouco convincentes. Porém, se aproveitando do incrível potencial de processamento de imagem do deep learning, a Nvidia criou uma maneira de falsificar uma filmagem impecável de câmera lenta a partir de um clipe de vídeo padrão.
• Inteligência artificial levou apenas 44 horas para virar mestre de cubo mágico
• Ondas de rádio invisíveis podem monitorar as pessoas através das paredes
Desacelerar um vídeo de 30 quadros por segundo para 240 quadros por segundo exige a criação de 210 quadros adicionais, ou sete quadros intermediários para cada quadro originalmente capturado. Misturar ou transformar os quadros de antes e depois para criar novos interstícios não é o bastante para manter o movimento tão suave quanto o de filmagens reais de slow motion. É por isso que o slow motion em esportes sempre parece muito menos cinematográfico do que nos filmes.
Plugins de aplicativos de efeitos visuais de ponta, como o RE:Vision Effect, da Twixtor, são capazes de melhorar os resultados de imagens de câmera lenta falsificadas, mas eles exigem uma análise complexa do movimento no clipe, frequentemente levando horas para renderizar. A Nvidia usou uma abordagem diferente, e, pelo que vemos na imagem de amostra lançada, usou uma muito melhor.
Usando uma inteligência artificial de deep learning treinada com mais de 11 mil vídeos de referência de esportes em câmera lenta filmados nativamente em 240 quadros por segundo, a rede neural foi capaz de prever como os 210 quadros intermediários deveriam se parecer, com base nos quadros anteriores e posteriores.
Smartphones e até mesmo câmeras digitais de ponta já conseguem capturar imagens em slow motion nessas velocidades, porém, à medida que a taxa de quadros aumenta, a resolução cai, devido à alta largura de banda dos dados sendo criados no momento.
A abordagem de inteligência artificial da Nvidia é uma alternativa muito mais barata à de despejar dezenas de milhares de dólares em uma câmera de alta velocidade como a Phantom, porque tudo acontece depois de o vídeo ser gravado. Os resultados não são tão instantâneos quanto com uma câmera de alta velocidade, mesmo com os processadores gráficos de ponta da Nvidia abastecendo a IA. Ainda é preciso tempo para processar. Mas, conforme os smartphones vão ficando mais potentes, um dia você conseguirá falsificar slow motion em belas imagens em 8K com um simples clique de um botão.
[Nvidia via Prosthetic Knowledge]
Imagem do topo: Reprodução