Se você navegou nos últimos dias em redes sociais, talvez tenha notado um pessoal que postou imagens delas ou de celebridades transformadas em desenho animado. A ferramenta responsável por isso se chama Toonify.

Basicamente, artistas treinaram uma máquina para revelar visões interiores psicodélicas, criando híbridos entre imagens humanas e desenhos no melhor estilo Pixar.

O sistema foi criado por Justin Pinkney e Doron Adler. A ideia deles era desmontar e montar modelos de aprendizado de máquina para que eles pudessem transformar cabeças humanas e colocá-las em proporções de desenho animado.

Falando em tecniquês, o Toonify é executado no Pix2pixHD, um modelo de conversão imagem-imagem que entende como converter fotos em estilos diferentes — por exemplo, pode transformar um esboço muito bruto de um sapato em uma renderização fotográfica totalmente reimaginada deste calçado.

No entanto, para treinar um modelo Pix2pixHD, você precisa mostrar a ele várias imagens de antes e depois. Para alcançar resultados bons neste modelo, Pinkney e Adler precisaram inventar um monte de pares formados por pessoas preexistentes e seus desenhos correspondentes. Como eles as encontraram?

Eles poderiam ter pedido à Pixar. Em vez disso, eles criaram seu próprio conjunto de dados gerando uma linhagem de abominações homem-desenho.

Primeiro, Doron Adler treinou um modelo StyleGAN — a mesma tecnologia por trás daquele site This Person Does Not Exist, que cria imagens aleatórias de pessoas que parecem reais, mas foram criadas com computador — com personagens da Disney, Pixar e Dreamworks de modo a reconhecer características que dão a aparência de desenho.

O modelo, então, selecionou automaticamente pessoas do Person Does Not Exist e aumentou as imagens com esses recursos de desenho animado. No entanto, o StyleGAN juntou todos esses estilos gerados por computador, imagens, desenhos e fotografias igualmente, o que significava que a mesma pessoa poderia ter tufos de cabelo realistas, bochechas gordinhas com cara de 3D e olhos grandes que pareciam desenhados à mão.

O modelo produziu um catálogo de criações de olhos grandes para lá de esquisitas:

Primeira versão do ToonifyPrimeira versão do Toonify

Foi aí que Justin Pinkney entrou com seu modelo, que combinou com o de Adler.

Pinkney desenvolveu um processo de “troca de camadas” para analisar as características desejáveis de cada imagem: a metade desenho afeta apenas a estrutura do rosto transformado em um personagem resultante, enquanto a metade humana contribui com a iluminação e outros detalhes de alta resolução (Você pode ver como Pinkney fazia isso anteriormente com retratos estilo Ukiyo-e, com estética oriental, com um bom e simples vídeo de explicações aqui).

Leonardo Di Carprio após passar pelo Toonify. Crédito: Justin Pinkney e Doron AdlerLeonardo Di Caprio após passar pelo Toonify. Crédito: Justin Pinkney e Doron Adler

Caso você queira ver como fica com visual de personagem da Pixar, basta enviar uma foto aqui. No site, os desenvolvedores dizem que não armazenam fotos das pessoas. Então, o sistema mostra a imagem gerada e, na sequência, se desfaz dela.