Uma equipe internacional liderada por Matthias Nießner, da Universidade Stanford (EUA), desenvolveu um novo método de reconstituição facial que chega a assustar de tão eficaz – e ele funciona com uma webcam comum.

Computadores têm dificuldade em reconstruir cenas de um vídeo. Por isso, os pesquisadores tomaram outra abordagem: o software analisa um vídeo quadro a quadro, e depois o altera enquanto ele é reproduzido.

Eles usam uma câmera comum para detectar as expressões faciais de uma pessoa, e para fazer a captura de movimento. Então esses movimentos são inseridos no vídeo em tempo real, enquanto ele é reproduzido.

filtro modificar videos

O método Face2Face supera vários desafios em tecnologia de visão por computador, e impressiona por ser tão fluido. Eis um vídeo explicando como tudo é feito:

E aqui estão mais detalhes sobre o método:

… nós rastreamos as expressões faciais tanto do vídeo de origem [capturado pela câmera] como de destino [a ser modificado], utilizando uma medida densa de consistência fotométrica. Depois, fazemos a reconstituição transferindo, de forma rápida e eficiente, a deformação no vídeo de origem para o vídeo de destino.

A melhor correspondência para o interior da boca é obtida a partir do vídeo-alvo e transportada ao outro vídeo para criar um ajuste preciso. Por fim, nós renderizamos de forma convincente o rosto-alvo por cima do vídeo correspondente, de tal forma que isso se combine perfeitamente com a iluminação.

O resultado aqui poderia ser um novo software que permite manipular vídeos facilmente, sem um monte de hardware especializado. Ou este pode virar mais um efeito do Snapchat e MSQRD.

[Stanford via Prostethic Knowledge]