가상현실 3. 감각을 어떻게 제공해야 하는가

사용자에게 감각을 어느정도까지 제공해야할까?

사용자가 느끼는 감각의 질적인 수준과 양은 최소한 어느정도까지 주어야 현실감을 느낄까?

문제가 있다. 현실감은 주관적이다. 사람들은 똑같은 것을 봐도 서로 다르게 받아들이고, 다른 경험을 한다. 즉 완전히 동일한 감각 정보를 제공해도 사용자가 느끼는 현실감은 다를 수 있다.

즉, 우리가 느끼는 현실은 Meotal Model에 의해서 Manipulator된 현실이다.

그렇다면 주관적인 현실감을 어떻게 제공하는가?

두가지 방안이 있다.

첫번째는 최대한 많은 정보를 제공하는 것이다. 그럼으로써 사용자는 현실과 가상 현실을 구분할 수 없다. 그러나 연산양이 너무나도 많아지므로 실질적으로 한계가 있다.

두번째는, 그러면 사용자의 인지 구조, 경험에 맞춰 적합한 정보만을 제공하는 것이다. 모든 정보 대신, 사용자가 현실감을 느낄 수 있을 정도의 최소한의 정보만 제공하는 것이다.

이게 어떻게 가능할까? 아이디어는 다음과 같다. 사용자의 멘탈 모델(내적 인지구조)를 분석하여, 각 개인에게 최적화된 감각 정보를 제공하는 것이다. 어떤 사용자는 시각적 정보에 민감하고, 어떤 사용자는 청각적 정보에 민감하다. 이에 대응하여 사람마다 다른 감각정보를 제공하는 것이다.

어떻게 사용자에게 최소한의 정보만으로 현실감을 제공하는가?

착시perceptual illusions를 이용하는 것이다. 착시를 이용하면 현실과 똑같은 정보를 모두 제공하지 않아도, 사용자가 현실감을 느끼게할 수 있다.

착시perceptual illusions란 무엇인가? 뇌가 실제로 존재하지 않는 정보까지도 현실처럼 느끼는 현상이다.

착시가 일어나는 원리가 무엇인가? 뇌는 일부 정보만을 바탕으로 주변 맥락이나 과거 경험을 바탕으로 추론하는 경향이 있다. 이 과정에서 실제 정보와 다르게 인식하는 오류가 발생할 수 있다. 이게 착시다.

착시들은 다음과 같다.

[!example] 2D Illusions{title} 평면에서 선, 도형 등이 실제와 다르게 보이는 현상

[!example] Illusory Boundary Completion{title} 실제로는 없는 경계선이나 도형이 보이는 현상

[!example] Blind spot{title} 실제로 끊겨져 있지만 이어져 보이는 현상

[!example] Depth Illusion{title} 실제 공간과 다르게 깊이, 거리, 넓이를 인지하는 현상

[!example] The Ames Room{title} 특수하게 설계된 방에서 사람이나 사물이 실제보다 크거나 작게 보임

[!example] The Moon Illusion{title} 나무와 비교하고 나서야 달이 큼을 실감함

[!example] Afterimage{title} 뇌에 반전된 색깔의 정보가 남아있음

[!example] Motion Illusion - Ouchi Illusion{title} 정지해있는 그림이 움직이는 것처럼 보임. 그 원리는? 가운데 원과 주변이 어긋나고 일치되지 않은 패턴을 발견한다. 뇌는 그림을 전체적으로 바라보며 그 규칙을 찾아내려고 한다. 그 과정에서 움직이는 듯한 착각이 발생한다.

[!example] Motion Illsuion - Autokinetic Effect{title} 어긋난 패턴을 일치시키려는 뇌의 노력이 환상을 유발한다.

Perceptual Illusions를 어떻게 활용하는가?

착시란, 실제 모습과 다르게 사람이 착각하는 것이다. 즉 인지 왜곡이 착시다. 사람은 외부 세계를 어떻게 인지할까?

외부 세계의 물리적 자극(빛, 소리, 촉감) 등을 원격 자극distal stimuli이라 한다. Distal Stimuli는 사람에 감각기관에 들어와 사람이 실제로 느끼는 자극으로 변환된다. 사람이 실제로 감지하는 자극을 근접 자극proximal stimuli이라 한다.

Proximal Stimuli는 신경 신호로 변환되어 뇌로 전달된다. 이 과정이 감각sensation이다. 뇌는 전달받은 신경 신호를 해석하여 의미 있는 정보로 변환한다. 이것이 인지perception다. 인지된 정보는 과거 경험, 감정에 근거하여 현실로 해석된다. 개인의 과거 경험, 감정이 경험 모델mental model이다.

동일 시점·위치에서 여러 감각이 동시에 들어올수록 뇌는 이를 “같은 사건”으로 묶어 강한 현실감을 구성한다. 이를 Binding Process라고 한다.

착시란, Mental Model 때문에 Distal Stimuli과 들어온 Proximal Stimuli과 다르게 해석되는 것이다. 감각 정보가 뇌로 전달되는 과정을 Bottom-up, 멘탈 모델이 감각을 해석하는 과정을 Top-down이라고 하자. 착시는 Bottom-up으로 들어온 정보를 Top-down에서 Override하면 발생한다.

예를들어, 헤드폰을 썼다는 감각은 Botton-up으로 전달된다. 이 감각을 없애려면 다른 새로운 자극을 부여하여, Top-down Override해야 한다. 이를 통해 헤드폰을 썼다는 자극을 잊고 가상 세계에서 현실감을 느낀다.

[!NOTE] 멀미의 원인{title}

• Afference는 감각기관에서 뇌로 들어오는 신경 신호다.
• Efference는 뇌에서 근육이나 감각긱관으로 나가는 신경 신호다. 뇌는 즉각적인 행동을 위해 ‘내가 이런 행동을 하면 어떤 감각이 돌아올까?’를 미리 예측한다. 이후 Efference를 만들어 행동한다. 행동 이후 감지한 Afference와, 뇌가 예측한 결과efference copy가 일치하면 문제가 없다. 이 자극은 내가 스스로 움직여서 만들어진 자극으로 인지한다. 그러나 일치하지 않으면 멀미가 발생한다. 그리고 Efference를 만들지 않았는데 Afferecne가 감지되면, 이를 외부 자극으로 감지한다. `그래서 내가 간지럼태우면 안간지럽고, 남이 간지럼태우면 간지럽구나.

반복적이고 일치하는 자극이 쌓이면, Mental Model을 수정할 수 있다.

사람의 인지 싸이클은 다음과 같다.

1. Distal Stimulus
2. Proximal Stimulus
3. Transduction -> Sensation (Afference)
4. Perception (인지) -> Recognition (인식 by Mental Model)
5. Efference Copy (예측) -> Action Plan
6. Motor Command (Efference) (실제 행동) -> 1

이때 Efference Copy와 Afference가 일치하는 경험이 계속 쌓이면 Mental Model을 수정한다.

그리고 충분히 형성된 Mental Model은 새로운 감각을 만들어낼 수도 있다. 이것이 가상 현실이 새로운 경험을 제공하는 핵심 원리다.

[!example] example{title} Rubber Hand Illusion은 시각과 촉각의 동기화만으로 고무 손이 실제 손으로 느껴진다.

[!example] example{title} 스웨덴 실험이 있다. 시각을 차단하고, 펜으로 자갈을 긁는 촉각을 같은 조건으로 한다. 그리고 청각을 누구에게는 자갈, 누구에게는 모래, 누구에게는 물의 소리를 제공한다. 실제로는 모두 자갈을 긁고 있지만, 모래 또는 물을 긁고 있다고 착각한다.

원하는 Proximal Stimuli를 만들어내기 위해서, 어떤 Distal SImuli를 만들어야 할까?

이를 이해하기 위해, 우리의 감각기관을 이해할 필요가 있다.

• 시각 : 가상현실 4. 시각으로 어떻게 정보를 받아들일까
• 청각 : 가상현실 5. 청각으로 어떻게 정보를 받아들일까
• 촉각 : 가상현실 6. 촉각으로 어떻게 정보를 받아들일까
• 고유감각 : 가상현실 7. 고유감각이 무엇인가
• 후각과 미각 : 가상현실 8. 후각과 미각