Teclados virtuais para VR transformam qualquer superfície em um espaço de trabalho

A alternativa ultraleve

Barco de papel criativo / Getty Images

O melhor teclado para digitar em realidade virtual (VR) pode acabar sendo aquele que realmente não existe.

O CEO da Meta, Mark Zuckerberg, postou recentemente um vídeo dele experimentando um teclado virtual em um fone de ouvido Quest 2. Especialistas dizem que esses teclados podem ser o futuro da produtividade em RV.

“A próxima evolução dos teclados virtuais usará tecnologia robusta de rastreamento manual para rastrear com precisão o movimento de todos os dedos do usuário”, disse DJ Smith, diretor de criação da empresa de realidade mista The Glimpse Group, à Lifewire em entrevista por e-mail. "Até recentemente, as imprecisões do rastreamento manual impediam que um usuário pudesse fazer isso; no entanto, os avanços atuais em IA e visão mecânica estão rapidamente tornando viável esse tipo de digitação virtual."

Zuckerberg afirma que atingiu uma velocidade de aproximadamente 100 palavras por minuto usando o teclado virtual, enquanto o CTO da Meta, Andrew Bosworth, relata ter atingido 119 palavras por minuto.

Seu processo de digitação parece ser um projeto de pesquisa da Meta que avança o que há de mais moderno em teclado para VR. O que chama a atenção é a falta de acessórios de hardware, como pulseiras, para capturar os movimentos dos dedos.

Atualmente, os desenvolvedores podem criar teclados virtuais ancorados em uma superfície no Quest, usando rastreamento manual e exigindo que os usuários toquem na superfície para calibração. No entanto, em termos práticos, mesmo uma pequena discrepância na altura entre as superfícies virtuais e reais pode levar a toques de teclas não intencionais.

“Até o momento, os teclados virtuais têm sido usados ​​como o principal dispositivo de entrada de texto em VR; no entanto, a digitação era lenta porque não havia como o usuário digitar naturalmente com todos os dedos”, disse Smith. "Criar uma experiência de teclado mais eficaz é um componente vital para tornar viável o caso de uso de produtividade."

Atualmente, os usuários podem “gerar” um teclado virtual em sua experiência de VR e selecionar cada letra com um único ponteiro laser VR ou usar o “método de caçar e bicar” usando um único dedo em cada mão virtual, disse Smith.

Os avanços atuais em IA e visão mecânica estão tornando rapidamente viável esse tipo de digitação virtual.

“Ambos os sistemas são difíceis de usar e têm uma taxa de entrada muito lenta”, acrescentou. “Também existe a opção para um usuário de VR adquirir um tipo específico de teclado físico que emparelha com o ambiente de VR. Nesse caso, o usuário pode ver um gêmeo digital de seu teclado físico dentro do ambiente de VR e digitar normalmente no emparelhado. teclado. Infelizmente, esse sistema de digitação não é amplamente utilizado porque a maioria dos usuários de RV não possui o tipo específico de teclado capaz de emparelhar com o ambiente de RV.

Os teclados virtuais podem até ser vulneráveis ​​a hackers. Uma equipe de especialistas em ciência da computação da Universidade da Califórnia em Riverside mostrou que o spyware pode monitorar e capturar movimentos humanos. Os algoritmos de IA podem então interpretar esses dados em palavras com uma taxa de precisão de 90% ou mais. Por exemplo, o spyware pode potencialmente registrar essa senha se você pausar sua sessão de jogo virtual para acessar suas mensagens do Facebook “digitando” sua senha em um teclado virtual exibido pelo fone de ouvido.

“Basicamente, mostramos que se você executar vários aplicativos, e um deles for malicioso, ele poderá espionar os outros aplicativos”, disse Abu-Ghazaleh no comunicado à imprensa. “Ele pode espionar o ambiente ao seu redor, por exemplo, mostrando às pessoas ao seu redor e a que distância elas estão. E também pode expor ao invasor suas interações com o fone de ouvido.”

obturador_m / Getty Images

Uma opção futura para teclados virtuais poderia ser usar os olhos para digitar. O sistema examinaria cada chave e, em seguida, clicaria em um controlador ou esperaria um momento predeterminado para que o sistema selecionasse essa chave, disse Jason Yim, CEO da empresa de realidade mista Trigger XR, por e-mail. Mas o chamado “rastreamento do olhar” não é fácil de usar.