Como você vai interagir com o futuro através do Microsoft HoloLens

Estas são as formas que a Microsoft criou para você interagir com hologramas: olhar, gestos, voz, som espacial e mapeamento espacial.

Esta semana, o Microsoft HoloLens entrou em pré-venda. Este computador holográfico projeta imagens no mundo real, abrindo uma nova fronteira para apps e jogos.

Você já conhece as especificações e os aplicativos que virão com ele, então é hora de explorar os cinco pilares do HoloLens: olhar, gestos, voz, som espacial e mapeamento espacial. Estas são as formas que a Microsoft criou para você interagir com hologramas.

>>> Testamos a nova versão do HoloLens, e ela é fantástica
>>> A falha do HoloLens que não será resolvida antes do lançamento

Olhar

O olhar é o equivalente holográfico a um ponteiro de mouse: ele indica onde está concentrada a atenção do usuário. Ele se mantém centrado no seu campo de visão.

O HoloLens não escaneia seus olhos para saber a direção do olhar; em vez disso, ele usa a posição e orientação da cabeça. “Você pode pensar nisso como um laser pointer saindo diretamente entre os olhos do usuário”, diz a Microsoft.

À medida que a cabeça do usuário se move, o cursor acompanha o ponto de atenção. E é possível sugerir outro ponto usando setas na interface:

hololens gaze

Gestos

O HoloLens possui um cursor, mas como é possível clicar na interface? Uma das alternativas é usar gestos.

O usuário mira em um item com o olhar, coloca a mão no campo de visão do HoloLens, e então faz um gesto de toque para selecionar o alvo. Isso funciona como um clique para ativar um comando.

hololens clique

Você também pode tocar e segurar em objetos, ativando comandos secundários como selecionar um objeto ou abrir um menu de contexto – isto funciona como o clique com botão direito.

Além disso, existe o gesto de pinça: segure o polegar e o indicador para mover itens no espaço ao seu redor, para dar zoom em objetos, ou para girá-los.

hololens touch and hold

O HoloLens roda uma versão do Windows que – assim como na maioria dos dispositivos – possui um menu Iniciar:

Emulator

Por isso, há um gesto para acessar este menu: levante a mão, deixe a palma para cima, reúna as pontas dos dedos, e depois abra a mão. O gesto se chama “bloom” (florescer), e equivale a pressionar a tecla Windows no PC ou o botão Xbox no console.

Alguns desses gestos podem ser feitos com acessórios Bluetooth. O Clicker vem incluso com o HoloLens para desenvolvedores, e permite que o usuário clique e role listas em vez de usar gestos no ar. No entanto, ele não serve para redimensionar objetos nem para voltar ao menu Iniciar, porque não substitui todos os gestos.

HoloLens-Clicker

Voz

O HoloLens possui quatro microfones para, entre outras coisas, detectar seus comandos de voz. O comando “selecionar” está sempre disponível para o usuário, e ele age no objeto em que seu olhar está concentrado.

No entanto, a maioria dos comandos é personalizada: cabe ao desenvolvedor decidir quais comandos o HoloLens vai ouvir, e quais ações isso vai realizar.

O vídeo abaixo mostra que você pode dizer “mais próximo”, “zoom máximo” e “zoom mínimo” em um mundo de Minecraft:

E claro, a Cortana está integrada ao HoloLens. Por exemplo, para voltar ao menu Iniciar, diga “Ei Cortana, vá para o início”. A assistente pessoal também abre apps, tira fotos e grava vídeos.

Você pode pedir informações sobre placares esportivos ou previsão do tempo; e há comandos para mudar o brilho da imagem, o volume do áudio, desligar/reiniciar o HoloLens, entre outros – a lista completa está neste link.

Além disso, o HoloLens adota um modelo chamado “você vê, você diz” na interface. Isto é, quando o usuário fala em voz alta o nome de um botão, ele é ativado.

Por exemplo, nesta imagem o usuário disse “ajustar” e ativou o botão para mover a tela de configurações:

Microphone

E nesta interface do Skype, você pode fixar o vídeo ou terminar a chamada dizendo “pin” ou “end call”:

Voice_SeeitSayit

Ah, e toda vez que for necessário digitar texto, haverá um botão de microfone para que você possa usar o ditado.

MicButtonForDictation

Som espacial

Isto não é algo oriundo de algum lugar estranho do universo: na verdade, é um som que parece vir de determinado local.

A ideia é tornar a experiência mais imersiva: o holograma só consegue aparecer à sua frente, mas o som é 360 graus – ele pode vir de cima, de baixo, de trás e dos lados.

Quando o desenvolvedor atribui um som a um objeto, o HoloLens faz parecer que esse som está sendo emitido pelo objeto (que não existe!), ajustando-o com base na direção e distância do usuário.

Como isso é possível? Basicamente, enganando o seu cérebro com um pouco de acústica. A Microsoft explica:

Ao analisar a forma como o som atinge ambos os nossos ouvidos, o nosso cérebro determina a distância e a direção do objeto que emite o som. As HRTFs, ou funções de transferência relativas à cabeça, estimulam essa interação modelando a resposta espectral que imita a forma como uma orelha recebe som a partir de um ponto no espaço.

Mapeamento espacial

Um dos apps que a Microsoft demonstrou se chama Young Conker, jogo de plataforma em que um esquilo usa superfícies reais para andar e pular. Ele até consegue detectar se está em um sofá, por exemplo, e pular em vez de andar.

Isso é possível graças ao mapeamento espacial. O HoloLens possui quatro câmeras para “compreensão de ambiente”, mais uma câmera de profundidade. Ele escaneia a sala e cria um modelo para posicionar os hologramas.

Assim, é possível colocar um holograma na frente (ou atrás!) de objetos reais. Isso também permite criar aquele truque de explodir a parede da sua sala para encontrar um mundo de Minecraft:

hololens minecraft

O mapeamento consiste em diversos triângulos que formam uma rede densa. Dessa forma, o app pode detectar superfícies irregulares e assumir que elas fariam hologramas quicarem – tal como no jogo Young Conker.

SurfaceReconstruction

O mapeamento espacial é atualizado constantemente, mas cabe ao desenvolvedor decidir se o app levará isso em conta. A Microsoft explica:

Em alguns casos, o app deverá responder o mais rapidamente possível; por exemplo, se o usuário estiver usando portas e móveis como barricadas na defesa contra uma tempestade de flechas. Em outros casos, porém, você pode querer ignorar as novas atualizações; dirigir seu carro esportivo holográfico numa pista em seu piso pode não ser tão divertido se o seu cachorro decidir se sentar no meio da pista.

É assim que você vai interagir com o futuro, de acordo com a Microsoft. A questão agora é: quando ele chegará até nós?

fique por dentro
das novidades giz Inscreva-se agora para receber em primeira mão todas as notícias sobre tecnologia, ciência e cultura, reviews e comparativos exclusivos de produtos, além de descontos imperdíveis em ofertas exclusivas