Esta semana, o Microsoft HoloLens entrou em pré-venda. Este computador holográfico projeta imagens no mundo real, abrindo uma nova fronteira para apps e jogos.
Você já conhece as especificações e os aplicativos que virão com ele, então é hora de explorar os cinco pilares do HoloLens: olhar, gestos, voz, som espacial e mapeamento espacial. Estas são as formas que a Microsoft criou para você interagir com hologramas.
>>> Testamos a nova versão do HoloLens, e ela é fantástica
>>> A falha do HoloLens que não será resolvida antes do lançamento
Olhar
O olhar é o equivalente holográfico a um ponteiro de mouse: ele indica onde está concentrada a atenção do usuário. Ele se mantém centrado no seu campo de visão.
O HoloLens não escaneia seus olhos para saber a direção do olhar; em vez disso, ele usa a posição e orientação da cabeça. “Você pode pensar nisso como um laser pointer saindo diretamente entre os olhos do usuário”, diz a Microsoft.
À medida que a cabeça do usuário se move, o cursor acompanha o ponto de atenção. E é possível sugerir outro ponto usando setas na interface:
Gestos
O HoloLens possui um cursor, mas como é possível clicar na interface? Uma das alternativas é usar gestos.
O usuário mira em um item com o olhar, coloca a mão no campo de visão do HoloLens, e então faz um gesto de toque para selecionar o alvo. Isso funciona como um clique para ativar um comando.
Você também pode tocar e segurar em objetos, ativando comandos secundários como selecionar um objeto ou abrir um menu de contexto – isto funciona como o clique com botão direito.
Além disso, existe o gesto de pinça: segure o polegar e o indicador para mover itens no espaço ao seu redor, para dar zoom em objetos, ou para girá-los.
O HoloLens roda uma versão do Windows que – assim como na maioria dos dispositivos – possui um menu Iniciar:
Por isso, há um gesto para acessar este menu: levante a mão, deixe a palma para cima, reúna as pontas dos dedos, e depois abra a mão. O gesto se chama “bloom” (florescer), e equivale a pressionar a tecla Windows no PC ou o botão Xbox no console.
Alguns desses gestos podem ser feitos com acessórios Bluetooth. O Clicker vem incluso com o HoloLens para desenvolvedores, e permite que o usuário clique e role listas em vez de usar gestos no ar. No entanto, ele não serve para redimensionar objetos nem para voltar ao menu Iniciar, porque não substitui todos os gestos.
Voz
O HoloLens possui quatro microfones para, entre outras coisas, detectar seus comandos de voz. O comando “selecionar” está sempre disponível para o usuário, e ele age no objeto em que seu olhar está concentrado.
No entanto, a maioria dos comandos é personalizada: cabe ao desenvolvedor decidir quais comandos o HoloLens vai ouvir, e quais ações isso vai realizar.
O vídeo abaixo mostra que você pode dizer “mais próximo”, “zoom máximo” e “zoom mínimo” em um mundo de Minecraft:
E claro, a Cortana está integrada ao HoloLens. Por exemplo, para voltar ao menu Iniciar, diga “Ei Cortana, vá para o início”. A assistente pessoal também abre apps, tira fotos e grava vídeos.
Você pode pedir informações sobre placares esportivos ou previsão do tempo; e há comandos para mudar o brilho da imagem, o volume do áudio, desligar/reiniciar o HoloLens, entre outros – a lista completa está neste link.
Além disso, o HoloLens adota um modelo chamado “você vê, você diz” na interface. Isto é, quando o usuário fala em voz alta o nome de um botão, ele é ativado.
Por exemplo, nesta imagem o usuário disse “ajustar” e ativou o botão para mover a tela de configurações:
E nesta interface do Skype, você pode fixar o vídeo ou terminar a chamada dizendo “pin” ou “end call”:
Ah, e toda vez que for necessário digitar texto, haverá um botão de microfone para que você possa usar o ditado.
Som espacial
Isto não é algo oriundo de algum lugar estranho do universo: na verdade, é um som que parece vir de determinado local.
A ideia é tornar a experiência mais imersiva: o holograma só consegue aparecer à sua frente, mas o som é 360 graus – ele pode vir de cima, de baixo, de trás e dos lados.
Quando o desenvolvedor atribui um som a um objeto, o HoloLens faz parecer que esse som está sendo emitido pelo objeto (que não existe!), ajustando-o com base na direção e distância do usuário.
Como isso é possível? Basicamente, enganando o seu cérebro com um pouco de acústica. A Microsoft explica:
Ao analisar a forma como o som atinge ambos os nossos ouvidos, o nosso cérebro determina a distância e a direção do objeto que emite o som. As HRTFs, ou funções de transferência relativas à cabeça, estimulam essa interação modelando a resposta espectral que imita a forma como uma orelha recebe som a partir de um ponto no espaço.
Mapeamento espacial
Um dos apps que a Microsoft demonstrou se chama Young Conker, jogo de plataforma em que um esquilo usa superfícies reais para andar e pular. Ele até consegue detectar se está em um sofá, por exemplo, e pular em vez de andar.
Isso é possível graças ao mapeamento espacial. O HoloLens possui quatro câmeras para “compreensão de ambiente”, mais uma câmera de profundidade. Ele escaneia a sala e cria um modelo para posicionar os hologramas.
Assim, é possível colocar um holograma na frente (ou atrás!) de objetos reais. Isso também permite criar aquele truque de explodir a parede da sua sala para encontrar um mundo de Minecraft:
O mapeamento consiste em diversos triângulos que formam uma rede densa. Dessa forma, o app pode detectar superfícies irregulares e assumir que elas fariam hologramas quicarem – tal como no jogo Young Conker.
O mapeamento espacial é atualizado constantemente, mas cabe ao desenvolvedor decidir se o app levará isso em conta. A Microsoft explica:
Em alguns casos, o app deverá responder o mais rapidamente possível; por exemplo, se o usuário estiver usando portas e móveis como barricadas na defesa contra uma tempestade de flechas. Em outros casos, porém, você pode querer ignorar as novas atualizações; dirigir seu carro esportivo holográfico numa pista em seu piso pode não ser tão divertido se o seu cachorro decidir se sentar no meio da pista.
É assim que você vai interagir com o futuro, de acordo com a Microsoft. A questão agora é: quando ele chegará até nós?
