Em um raro passo do Facebook que não deixou o mundo balançando a cabeça em descrença, os pesquisadores de inteligência artificial da empresa desenvolveram uma maneira de facilmente transformar pessoas reais em personagens de jogos jogáveis, simplesmente analisando vídeos delas fazendo movimentos específicos. Meus sonhos de finalmente ser um personagem desbloqueável no NBA Jam ficaram um passo mais perto.

Usar imagens de pessoas reais para ajudar a criar um game está longe de ser uma ideia nova. Nos anos 1990, o Time Traveler, da Sega, o primeiro jogo holográfico, criou uma experiência de jogabilidade ao reproduzir clipes pré-gravados, com base nas escolhas do jogador. As primeiras versões de Mortal Kombat também foram criadas filmando personagens fantasiados num palco sonoro, mas as imagens foram depois convertidas em sprites animados para garantir que o jogo rodasse sem problemas.

Hoje em dia, a maioria dos personagens de videogames é feita em modelos totalmente tridimensionais, e, embora os jogadores possam passar horas customizando a aparência para refletir a si mesmos, até mapeando seus próprios rostos, os movimentos dos personagens ainda são baseados em animações de banco de dados.

Este estudo recentemente publicado, feito pela divisão de pesquisa de IA do Facebook, pode mudar tudo isso. Duas redes neurais diferentes foram treinadas com imagens de apenas cinco a oito minutos de duração de alguém realizando uma ação específica, como jogar tênis. A primeira rede, Pose2Pose, analisa as filmagens e extrai a pessoa que está fazendo os movimentos. A segunda, Pose2Frame, então transfere todos os elementos dessa pessoa, incluindo sombras e reflexos que ela está criando, e então a sobrepõe em uma nova paisagem de fundo, que pode ser um local de videogame renderizado.

Os resultados não são tão suaves ou fluidos como os personagens detalhados dos videogames 3D que os consoles modernos conseguem gerar, mas são completamente controláveis. À medida que essa pesquisa evolua, os resultados irão, sem dúvida, melhorar, mas uma abordagem híbrida pode ser ainda melhor. A IA poderia extrair características de alguém em um vídeo, incluindo as nuances de como a pessoa se move, e automaticamente aplicá-las a um personagem 3D personalizado, poupando os jogadores de ter que fazer centenas de ajustes minuciosamente.

No entanto, isso não será útil apenas para videogames, já que o mundo avança em direção a mais experiências de realidade virtual (lembre-se, o Facebook é dono do Oculus), o que tornaria muito mais fácil criar avatares realistas de nós mesmos. Seu amigo poderia filmar um vídeo de você dançando por alguns segundos, e minutos depois você apareceria em um mundo virtual.

[Vid2Game: Controllable Characters Extracted from Real-World Videos (PDF) via Venturebeat]