가상현실 2. 가상현실을 어떻게 구현하는가

가상 현실을 어떻게 구현해야 하는가?

가상현실 시스템 모델을 도입한다. 먼저 사람이 경험하고 행동하게 되는 프로세스는 다음과 같다.

카이스트 원광현 교수

사람은 시각, 촉각, 후각, 미각, 청각 등의 Human sensor로 정보를 입력받는다. 이후 그 감각을 지각하고, 인지 후 근육 등을 제어하도록 명령한다. 이후 근육과 같은 Human effector로 현실세계에 영향을 끼친다.

가상현실 시스템은 세가지를 구현해야 한다. (1) H-sensor와 V-sensor 사이의 인터페이스, (2) 가상 현실 시뮬레이터, (3) H-effector와 V-effector 사이의 인터페이스와 같다.

가상 세계에선 아바타가 존재한다. 사용자와 아바타는 동기화될 수록 좋다. 그리고 사용자와 아바타 사이에는 두개의 인터페이스로 상호작용하여 동기화한다.

먼저 V-sensor와 H-sensor 사이의 인터페이스다. 아바타가 보는 장면, 느끼는 감각을 사용자도 동일하게 느껴야 한다. 이는 V-sensor가 감지한 가상 세계를 Logic effector로 의미를 재구성하고, Physic effector로 사용자에게 화면 등을 보여줌으로써 구현한다.

그리고 H-effector와 V-effector 사이의 인터페이스다. 사용자가 움직인 행동을 감지하여 V-effector도 똑같이 움직여야 한다. 행동을 동기화한다. 이는 H-effector의 행동을 Physic Sensor로 감저하고, 이를 Logic Sensor로 의미를 파악하여 V-effector로 전달함으로써 구현한다.

사용자와 아바타가 동기화되면, 아바타는 가상 세계의 객체들과 상호작용한다. 이 상호작용한 결과는 가상 세계에서 계속 시뮬레이션되어, 시뮬레이션된 결과가 또 아바타와 상호작용한다.

다음과 같은 질문이 생긴다.

• 현실에서 액션을 취하면, 가상 세계 또한 즉각적인 반응이 일어남과 동시에 즉각적인 피드백을 받아야 한다. 얼마나 빨라야 할까?
• 가상현실의 아바타가 느낀 정보를 어떻게 사용자에게 보여줄까? (V-sensor -> H-sensor)
• 사용자의 의도와 행위 (H-effector -> V-effector)를 어떻게 파악할까?
• 아바타가 감각기관을 통해서 받아들이는 정보의 질적인 수준과 양은 어느정도까지 현실과 동일해야 할까?

얼마나 빨라야할까?

현실에서 액션을 취하면, 가상 세계에 즉각적으로 영향을 미쳐야 한다. 그리고 피드백 또한 즉각적이어야 한다. 이는 현실세계에선 0ms다. 그러나 아직 이정도까지 구현하긴 어렵다. 그렇다면, 어느정도 딜레이까지 허용될까?

고려해야 하는 세가지 Delay Time이 존재한다. 먼저, 사용자의 행동을 입력받아 가상 세계로 전달되는 Input Processing Time이다. 그리고 가상세계에서 시뮬레이션되는 Simulation Time이다. 이후 아바타가 시뮬레이션된 가상세계를보고 사용자에게 전달되는 Presentation Time까지가 고려해야 할 세가지 Delay Time이다.

사람이 감각을 인지하고 판단하는데 약 100~200ms가 소요된다. 그러면 가상 시스템의 전체 Delay Time도 100~200ms 정도 내에 수행하면 될까? 그렇지 않다. 그보다 훨씬 짧아야 한다. Delay Time이 100~200ms정도가 되면 사용자는 2배 느린 세계를 경험하기 때문이다. 이는 멀미의 원인이다.

실험을 통해 각각의 감각이 이상적으로 어느정도 Rate로 Update되어야 하는지 알아냈다. 시각은 초당 120~150번 업데이트되면 충분하다. 촉각은 초당 1000번 이상 업데이트되어야 한다. 즉, 1ms 이내로 완료되어야 한다. 청각은 초당 44000번 이상 업데이트되어야 한다.

시각은 현재 디스플레이로 충분히 구현된다. 그러나 촉각과 청각은 아직 어렵다. 어느정도 딜레이까지 허용될 수 있을까? 어떻게 딜레이 적응을 잘 시킬 수 있을까? 사용자가 딜레이를 통해 불편함을 느끼는 중요한 임계점(Threshold)는 어디일까? 청각과 촉각의 문제를 어떻게 해결할까?

가상현실의 아바타가 느낀 정보를 어떻게 사용자에게 보여줄까?

시각

VR 기기에서 사용되고 있는 Display에 대해 알아보자.

(1) HMD (Head-Mounted Display) 가장 대표적인 머리에 쓰는 디스플레이다.

[!tip] 장점{title} 외부 시야를 차단하여 몰입감이 높다. 머리를 추적하여 시점에 맞는 영상을 보여준다.

[!error] 단점{title} 초점이 하나로 고정되어 넓은 영역을 보기 어렵다. 무겁고, 불편하다.

(2) See-Through HMD 애플 비전처럼 현실 세계와 가상 정보를 동시에 볼 수 있도록 설계된 HMD다. Optical See-Through와 Video See-Through 두가지 방식이 있다.

[!NOTE] Optical See-Through (광학 투과 방식){title} 반투명한 스크린으로 현실 세계를 직접 보여주면서, 그 위에 가상 정보를 덧씌운다. 현실 세계를 다이렉트로 볼 수 있어 현실감이 높지만, 가상 정보를 계산하는 딜레이때문에 가상 객체가 흔들리거나 고정되지 않은 느낌을 줄 수 있다.

[!NOTE] Video See-Through (비디오 합성 방식){title} 현실 세계를 카메라로 촬영하고, 그 위에 가상 정보를 합성하여 스크린에 보여준다. Optical See-Through 단점을 보완한다. 그러나 현실과 가상 세계의 위치가 딜레이때문에 불일치할 수 있다. 그리고 해상도나 왜곡되어 보일 수 있다.

(3) Virtual Retina Display 실제 영상을 직접 망막에 쏘는 방식이다. 초점의 범위가 넓어 편안하다. 초점의 범위가 넓다는 것은, 사용자가 화면을 볼 떄 눈의 초점을 맞출 수 있는거리가 한정되어 있지 않고 다양한 거리를 볼 수 있다는 뜻이다. HMD는 스크린 위치가 고정되어 있어, 사용자의 초점 거리는 고정되어있다.

그러나 레이저를 눈에 쏘기 때문에 부작용, 안정성이 우려된다.

(4) CAVE World FIxed Displays 방법이다. 주변 공간 전체를 스크린으로 만들어 몰입감을 극대화한다. 몰입감과 퀄리티가 높도, 여러 명이 동시에 체험 가능하다.

그러나 World Fiex Displays의 한계점은 비용과 공간이 많이 필요하다. 그리고 스크린보다 가까운 물체를 표현하기 어렵다. 프로젝터 밝기가 불균일하면 부자연스럽다.

(5) Hologram 현실에다 가상 홀로그램을 띄우자. 진짜 띄우는 리얼 홀로그램과, 거울 반사를 이용한 유사 홀로그램이 있다.

설치가 힘들고, 비용이 높다. 대규모 공연 전시 등에 적합하다.

청각

청각 정보는 3D 스피커, 헤드폰, 이어폰으로 전달한다. 외부 소음을 차단하고, 3차원 음향감을 충분히 표현 가능하므로 완벽에 가깝다.

촉각

사람에 피부에 부착되거나, 쥐어서 물리적인 힘을 전달해주는 장치를 Actuator라고 한다.

물리적 장치를 통해 직접적으로 감각을 제공하는 장치를 Passive, 진동이나 공기 등으로 간접적으로 감각을 제공하면 Active 장치다.

Actuators 타입에는 다음과 같다.

• 진동 Actuators 게임 컨트롤러, 햅틱 등 진동을 통해 촉감을 전달한다. 구현이 쉽지만, 촉감의 범위가 제한되는 한계가 있다.

• 핀 Actuators 작은 핀들이 전기 신호로 손가락에 자극을 전달한다. 다양한 촉감 표현이 가능하다. 그러나 내구성이 약하다.

• Temperature Actuators 온도 변화를 전달한다. 실제 온도감이 전달되지만, 화상 또는 동상 등의 안전성 문제가 있다.

• 정전기 Actuators 정전기를 이용해 표면 촉감을 구현한다. 다양한 촉감 구현이 가능하다. 그러나 구현이 어렵고, 안정성 문제가 있다.

• 압축 공기 Actuators 압축 공기로 압력과 촉감을 전달한다. 다른것과 다르게 압력이라는 감각을 제공할 수 있다. 그러나 장치가 복잡하고, 정밀하게 제어하기가 어렵다.

[!example] End Effector{title} 쥐고 있는 것에 로봇팔이 달려 있는 장치다.

로봇팔, 햅틱 장갑, 수술용 컨트롤러 등으로 활용된다. End Effector 내에는 힘, 진동을 제공하는 Actuator가 들어있다.

한 점에만 힘을 줄 수 있어 응용 분야가 제한적이다?

[!example] Full Body Devices{title} 사용자의 몸 전체에 힘이나 촉감을 전달하는 장치다. Exoskeletons(외골격)은 몸에 로봇팔 등을 부착해 무거운 물체를 들게 하거나, 장애를 극복하는데 활용한다.

Surround Platforms는 사용자가 플랫폼 위에 올라가고, 플랫폼이 힘을 전달하는 방식이다.

[!example] Motion Platforms{title} 사용자가 앉거나 서있는 플랫폼 자체가 움직여 실제로 움직이는 듯한 느낌을 준다. 드라이빙 시뮬레이터, 4D 영화관 의자 등이 예다.

[!example] Treadmills{title} 사용자가 위에 올라가서 실제로 자유롭게 걷거나 뛸 수 있게 하는 장치다. 바닥에 센서가 부착되어 움직임을 감지한다.

[!example] Input Devices{title} 사용자의 움직임, 제스처, 힘을 인식해 가상현실에 전달한다. Virtual Wand, 조이스틱, 카메라, 글러브, 슈트, 근전도 센서, 부착형 센서 등 다양한 형태가 있다.

후각

냄새를 뿌려주는 방법을 극장에서 시도하고 있기는 하나, 후각은 적응이 빨라서 아직 강한 효과를 주기 어렵다.

미각

직접 혀에 물질을 전달하거나, 전기 신호로 미각에 영향을 주는 방식을 연구중이다. 실제 구현이 어렵고, 아직 연구 단계에 있다.