가상현실 11. 어떻게 인지하는가
뇌가 공간을 어떻게 인지할까?
우리는 사실 2D Plane을 보고있지만, 3D 공간을 보고있다고 인지한다. 그저 빛 정보가 눈 내의 망막에 맻히는 것 뿐인데, 이를 어떻게 뇌는 3차원의 공간으로 인지하는가?
뇌는 공간을 두가지 관점에서 판단한다. 자기중심적 판단egocentric judgements와 외부중심적 판단exocentric judgements이다. 자기중심적 판단은 ‘나’를 중심으로 공간을 인식하는 판단 기준이다. 저 물체는 내 팔에 닿는 거리에 있다, 저 소리는 왼쪽에서 들린다로 공간감을 인지한다. 그리고 외부중심적 판단은 ‘내’가 아닌 외부의 객체와 객체 사이의 관계로 공간을 판단한다. 저 의자는 책상 옆에 있다와 그 예다.
뇌가 공간감을 파악하는 단서depth cues로는 무엇이 있을까? 공간에 대한 인지는 여러 depth cues를 조합하여 인지한다. 뇌가 3D 공간을 인지할 때 사용되는 단서들을 토대로 가상 현실을 정교하게 재현할 수 있다.
- 그림 단서: 2D Plane에서도 공간감을 느끼게 해주는 단서들
- 가림Occlusion: 한 물체가 다른 물체를 가리면, 가려진 물체가 더 멀리있다고 인식한다.
- 선 원근법Linear Perspective: 평행한 선들이 가까워 질수록, 멀리 있다고 느낀다.
- 상대적 크기Relative Size: 같은 크기의 물체라도 멀리 있으면 더 작게 보인다.
- 질감 기울기Texture Gradient: 가까운 표면의 질감은 선명하고, 멀어질 수록 흐릿하다.
- 대기 원근법Aerial Perspective: 멀리 있을 수록 공기 중의 입자때문에 푸르스름하게 보인다.
- 움직임 단서
- 운동 시차Motion Parallax: 가까운 물체는 빠르게 움직이고, 멀리 있는 물체는 느리게 움직이는 것처럼 보이는 현상이다.
- 양안 깊이 단서
- 양안 시차Binocular Disparity: 왼쪽 눈과 오른쪽 눈에 맺치는 상의 차이를 분석하여 입체감을 만들어낸다.
사용자가 팔을 뻗었을 때 닿을 수 있는 거리(<2m)를 Personal Space라고 하고, 20m 바깥의 공간을 Vista Space라고 하고, 그 사이의 공간을 Action Space라고 한다. Personal Space은 양안 시차가 가장 중요하고, Rendering할 때 가장 많은 계산이 할당되어야 한다. Action Space는 그림 단서와 같은 객관적인 단서들이 더 중요해진다. Vista Space는 그림 단서를 통해 대략적인 깊이만 인지된다.
뇌가 시간을 어떻게 인지할까?
뇌는 시간을 감지하는 감각 기관이 없다. 뇌는 시간을 연속적인 흐름이 아니라, 사건event의 흐름으로 시간을 인지한다. 인간의 뇌가 단일 사건을 인지할 수 있는 가장 작은 시간 단위는 시각정보의 경우 25ms이고, 운동감이나 고유감각의 경우 150ms이다. 뇌는 이 사이에 벌어진 일을 ‘동시’라고 판단한다. 이 시간인지 최소 단위를 지각적 순간Perceptual Moment라고 한다.
이벤트event는 발생 즉시 바로 인지되지 않는다. 감각 정보가 뇌로 도달하여 처리되는 시간을 지연된 지각Delayed Perception이라고 한다. 예를들어 시각 정보가 시신경을 거쳐 시상으로 도달하여 1차 시각피질로 도달하는데 50ms, 이후 피질이 정보를 파악하는데 20~50ms가 소요된다. 즉 뇌는 Efference Copy로 시각 정보를 예측하는데, 대략 100ms 뒤에 시각정보가 들어올 것이라고 예측한다. 기술적 한계로 이보다 늦게 정보가 제공되면, 예측 오류를 겪고, 이것이 멀미의 원인이다.
자극을 인지하고 그 자극 정보가 바로 사라지지 않는다. 자극에 대한 신경활동이 대략 100ms ~ 400ms정도로 남아있다. 따라서 우리는 분절된 사건들로 시간을 인지하지만 연속적이라고 느끼는 이유이다. 이 성질을 항상성Persistence라고 한다.
[!tip] 착시가 발생하는 요소 중에, 두가지가 바로 마스킹 효과Masking Effect와 인지적 연속성Perceptual Continuity다. {title} 이것이 무엇인가? 마스킹 효과는 어떤 자극이 다른 자극으로 인해 가려지는 현상을 말한다. 이때 뇌는 마지막에 인지한 정보를 바탕으로 전체를 해석하려 하기 때문에, 착시가 생길 수 있다. 그리고 인지적 연속이란 중간에 끊어진 정보를 자연스럽게 이어 붙이려고 하는 뇌의 경향성이다. 예를들어, 공이 기둥 뒤로 사라졌다가 다시 나타날 때 우리는 공이 벽 뒤에서도 동일한 속도로 움직였을 것이라고 생각한다. 이 과정에서 착시가 생길 수 있다.
우리 몸에는 두가지 시계가 있다. 생물학적 시계Biological Clock는 맥박, 혈압, 체온과 같은 생체 리듬이다. 흥분하여 생체 리듬이 빨라지면 생체 시계가 빨라져 실제보다 느리게 가는 것처럼 느껴진다. 두번째는 인지적 시계Cognitive Clock다. 경험하는 그 순간(현재)은 주의와 몰입도에 따라 시간의 흐름을 다르게 느낀다. 몰입할 수록 시간이 빠르게 흘렀다고 느끼고, 그렇지 않은 경우 시간이 느리게 흘렀다고 느낀다. 현재가 지나간 이후 과거를 회상할 때는 동일 시간 대비 경험한 Event가 많을 수록 더 긴 시간이었다고 판단한다. 반대로 Event가 적을 수록 그 경험을 짧게 인식한다. 그리고 동일 시간 대비 많은 정신적 노력을 기울였을 경우 그 경험을 더 긴 시간이라고 인식하고, 반대일 수록 짧게 인식한다.
뇌는 움직임을 어떻게 인지할까?
움직임Motion이란 공간과 시간의 흐름이 결합된 개념이다. 특정 시간동안 공간 내의 위치가 변화함을 우리는 ‘움직였다’고 인지한다. 우리는 어떻게 정지해있는 것과 움직이는 것을 구분할까? 어떻게 Motion을 인지할까?
뇌는 두가지 판단기준을 사용한다. 주변의 고정된 물체를 기준으로 다른 물체의 움직임을 인지하는 것이다. 이를 Exocentric Motion라 한다. 따라서 주변 물체가 움직이고 있지 않으면 정지해있다고 느낀다. 실제로 우주선은 움직이고 있지만, 그 우주선 내의 모든 물체가 정지해있다면 나는 정지해있다고 인지하는 이유이다. 두번째로 나를 기준으로 주변 세계의 움직임을 판단한다. 이를 Egocentric Motion라고 한다. 실제로 나는 멈춰있지만 나를 뒤덮는 배경이 뒤로 움직이면, 내가 앞으로 움직이고 있다고 느낀다. 이 착각을 Vection라고 한다.
뇌가 모션을 인지하는데 사용하는 주요 시각 정보들은 다음과 같다.
- 중심시Central Vision: 정확하지만 천천히 움직이는 것을 감지한다.
- 주변시Peripheral Vision: 부정확하지만 빠른 움직임을 감지한다.
- 응시 이동Gaze Shifting 및 초점Focus: 시선과 무엇에 집중하는지에 따라 움직임이 달라진다.
- 예를들어 빠르게 움직이는 적을 집중해서 EyeTracking하면 적이 느리게 움직이는 것처럼 보인다.
- 깊이 인지Depth Perception
[!tip] 가현 운동Apperent Motion 착시{title} 물리적인 움직임이 없는데 움직이는것처럼 보이는 착시다. 예를들어 네온사인 간판의 글자가 하나씩 켜지면서 깜빡이면 글자가 움직이는 것처럼 느낀다.
뇌의 인지 특성
Perceptual Constancies
우리가 받아들이는 감각 정보는 항상 일관되지 않는다. 나의 위치, 물체의 위치, 주변 조명에 따라 다른 감각정보가 들어온다. 그러나 우리의 뇌는 객체의 크기, 모양, 색이 변한게 아니라 그것이 움직이거나, 주변 조명 등으로 인해 다른 감각정보가 들어왔다고 인지한다. 이것이 지각의 불변성Perceptual Constancies다. 뇌가 불변하다고 느끼는 것들은 다음과 같다.
- Size : 물체가 부푼게 아니라, 다가와서 커진 것이다.
- Shape : 보는 각도가 달라진 것이지, 물체의 모양이 변한게 아니다.
- Position : 우리가 움직인 것이지, 객체가 움직인게 아니다.
- Lightness, Color : 물체의 색이 변한게 아니라, 주변 조명이 바뀐거다.
- Loudness : 소리의 음량이 변한게 아니라, 소리와 나 사이의 거리가 변한거다.
Adaptation
적응Adaptation에는 감각적 적응Sensory과 인지적 적응Perceptual 두가지로 구분한다. 감각적 적응은 시각, 청각, 후각 등의 감각기관이 특정 자극에 둔감해지는 현상이다. 인지적 적응은 Efference Copy와 Afference가 차이나면 다음 Efference를 수정하는데, 이 오류가 일관적으로 반복되면 Mental Model 자체를 수정하여 예측할 Efference Copy 자체를 바꾼다. 이것이 인지적 적응이다.
가상현실에 적응 이후 현실로 돌아오면, 현실 세계에 다시 적응하는 시간이 필요하다. VR의 부작용이다.
Attention
우리는 들어오는 감각정보를 공평하게 받아들이지 않는다. 의식이 무엇에 주의Attention를 기울이냐에 따라 어떤 감각정보는 중요하게 받아들이고, 어떤 감각정보는 대수롭지 않게 받아들인다. 예를들어, 시끄러운 파티장에서 상대방의 대화에 집중하면 다른 소음을 걸러들을 수 있고, 어떤 과제에 몰입하면 주변 시야를 걸러서 볼 수 있다. 사용자 어디에 주의를 기울이냐에 따라 VR에서 인지하는 내용, 경험이 완전히 달라질 수 있다. 따라서 VR 컨텐츠 개발자는 질 좋은 경험을 제공하려면 사용자의 주의를 잘 유도해야 한다.