VR용 가상 키보드로 모든 표면을 작업 공간으로 만들어보세요

초경량 대안

종이배 크리에이티브 / 게티 이미지

가상 현실(VR)에서 입력하기 위한 최고의 키보드는 실제로 존재하지 않는 키보드일 수도 있습니다.

Meta CEO인 Mark Zuckerberg는 최근 Quest 2 헤드셋에서 가상 키보드를 시험해 보는 자신의 비디오를 게시했습니다. 전문가들은 이러한 키보드가 VR 생산성의 미래가 될 수 있다고 말합니다.

혼합 현실 회사인 The Glimpse Group의 최고 크리에이티브 책임자인 DJ Smith는 이메일 인터뷰에서 Lifewire에 "가상 키보드의 다음 진화는 강력한 손 추적 기술을 사용하여 사용자의 모든 손가락의 움직임을 정확하게 추적할 것"이라고 말했습니다. "최근까지 손 추적의 부정확성으로 인해 사용자가 이를 수행할 수 없었습니다. 그러나 현재 AI와 머신 비전의 발전으로 이러한 유형의 가상 타이핑이 빠르게 가능해지고 있습니다."

Zuckerberg는 가상 키보드를 사용하여 분당 약 100단어의 속도를 달성했다고 밝혔으며, Meta CTO인 Andrew Bosworth는 분당 119단어를 달성했다고 보고했습니다.

그들의 타이핑 프로세스는 VR용 키보드의 최신 기술을 발전시키는 Meta의 연구 프로젝트인 것으로 보입니다. 눈에 띄는 점은 손가락 움직임을 포착할 수 있는 손목 밴드와 같은 하드웨어 액세서리가 부족하다는 것입니다.

현재 개발자는 손 추적을 사용하고 사용자가 보정을 위해 표면을 탭하도록 요구하여 Quest의 표면에 고정된 가상 키보드를 만들 수 있습니다. 그러나 실제적인 측면에서는 가상 표면과 실제 표면 사이의 높이가 약간만이라도 차이가 나면 의도하지 않은 키 입력이 발생할 수 있습니다.

스미스는 “지금까지 가상 키보드는 VR에서 텍스트를 입력하는 주요 입력 장치로 사용됐지만 사용자가 손가락을 모두 사용해 자연스럽게 입력할 수 있는 방법이 없어 입력 속도가 느렸다”고 말했다. "보다 효과적인 키보드 경험을 만드는 것은 생산성 사용 사례를 실행 가능하게 만드는 데 필수적인 구성 요소입니다."

현재 사용자는 VR 경험 내에서 가상 키보드를 "생성"하고 단일 VR 레이저 포인터로 각 문자를 선택하거나 각 가상 손에 손가락 하나를 사용하여 "사냥 및 쪼기 방법"을 사용할 수 있다고 Smith는 말했습니다.

현재 AI와 머신 비전의 발전으로 인해 이러한 유형의 가상 타이핑이 빠르게 가능해지고 있습니다.

"이 두 시스템 모두 사용하기 어렵고 입력 속도가 매우 느립니다."라고 그는 덧붙였습니다. "VR 사용자가 VR 환경과 페어링되는 특정 유형의 물리적 키보드를 구매할 수 있는 옵션도 있습니다. 이 경우 사용자는 VR 환경 내에서 물리적 키보드의 디지털 트윈을 볼 수 있으며 페어링된 키보드에 정상적으로 입력할 수 있습니다. 키보드. 불행하게도 대부분의 VR 사용자는 VR 환경과 페어링할 수 있는 특정 유형의 키보드를 소유하지 않기 때문에 이러한 입력 시스템은 널리 사용되지 않습니다."

가상 키보드는 해커에게 취약할 수도 있습니다. University of California Riverside의 컴퓨터 과학 전문가 팀은 스파이웨어가 인간의 움직임을 모니터링하고 캡처할 수 있음을 보여주었습니다. 그러면 AI 알고리즘은 이 데이터를 90% 이상의 정확도로 단어로 해석할 수 있습니다. 예를 들어, 가상 게임 세션을 일시 중지하고 Facebook 메시지에 액세스하는 경우 헤드셋에 표시되는 가상 키보드에 비밀번호를 "에어 타이핑"하여 스파이웨어가 이 비밀번호를 기록할 수 있습니다.

Abu-Ghazaleh는 보도 자료에서 "기본적으로 여러 애플리케이션을 실행하고 그 중 하나가 악성인 경우 다른 애플리케이션을 감시할 수 있다는 것을 보여줍니다."라고 말했습니다. "예를 들어 주변 사람들과 그들이 얼마나 멀리 떨어져 있는지 보여주는 등 주변 환경을 감시할 수 있습니다. 또한 헤드셋과의 상호 작용을 공격자에게 노출할 수도 있습니다."

Shutter_m / 게티 이미지

가상 키보드의 미래 옵션 중 하나는 눈을 사용하여 입력하는 것입니다. 혼합 현실 회사 Trigger XR의 CEO인 Jason Yim은 시스템이 각 키를 살펴본 다음 컨트롤러를 클릭하거나 시스템이 해당 키를 선택할 때까지 미리 정해진 순간을 기다릴 것이라고 이메일을 통해 말했습니다. 하지만 소위 '시선 추적'은 사용하기 쉽지 않습니다.