가상현실 10. 중간 정리

그래서 가상현실이 뭔데? 말 그대로 가상으로 만든 현실임. 사용자는 가상으로 만들어둔 현실에 들어가 진짜 현실처럼 느낄수록 좋음. 이를 현실감이라고 하는데, 현실감을 주려면 어떻게 해야할까? 우선 느끼는 감각이 현실같을 수록 현실감이 느껴짐. 그리고 가상 현실에서 하는 경험이 우리의 Mental Model과 부합해야 현실감이 느껴짐.

가상현실은 어떻게 만들어야 할까? 아이디어는 컴퓨터 시뮬레이션 속에 아바타가 존재하고, 그 아바타와 사용자를 동기화시키자는 것임. 즉 사용자의 행동이 현실의 Input Device를 통해 입력받아 아바타의 행동으로 구현되고, 가상 세계가 시뮬레이션 된 후 아바타가 느끼는 감각 Feedback이 현실의 내 몸에 그대로 전해지면 됨. 이 Latency가 짧을 수록 동기화가 잘 되었다고 판단함. 각 감각마다 요구되는 최소 Latency가 다 다름. 촉각은 초당 1000번, 청각은 초당 44000번, 시각은 초당 120번 등..

그럼 어떻게 현실같은 감각을 제공하는가? 이를 알기 위해 사람이 어떻게 감각을 느끼는지에 대해 배웠음. 시각, 청각, 촉각, 미각, 후각, 운동감, 역감 등. 사람이 감각을 받아들이는 감각 기관에 대해 배움. 그리고 이 감각들은 서로 시간적, 공간적으로 연관된 감각이 동시에 주어질 수록 더 진짜같다고 느낀다고 함.

그리고 감각은 뇌가 예측한 정보efference copy와 일치할 수록 사용자가 어색함을 느끼지 않음. 사람은 마치 감각정보를 느끼고afference, 그 감각정보를 토대로 근육에 명령을 보내는efference 싸이클 모델과도 같음. 그러나 사람도 afference 과정에서 약간의 딜레이가 존재하고, 이 딜레이를 극복하기 위해 뇌는 ‘내가 어떤 행동efference를 하면 이런 감각afference가 들어오겠지?’ 라고 Mental Model에 기반하여 예측efference copy함. 예측 후 행동을 수행하여, 실제로 들어온 감각 정보와 예측 정보가 일치하면 바로 다음 행동을 준비함. 그러나 감각 정보가 다르면, 뇌는 이 예측 오류에 집중하여 새롭게 effernce를 구성함. 예를 들어, 컵이 내가 생각했던 것보다 무거우면 힘을 더 줘서 들어올리는 것과 같음. 사용자의 Mental Model에 기반한 effernce copy와 Feedback 장치가 제공하는 Afference가 일치할 수록 사용자는 주체성agency을 느낌. 현실적인 감각 피드백과, 높은 주체성이 결합된다면 내가 가상 현실에 들어와있다는 감각을 느끼게 됨. 이것이 존재감presence이고, VR이 제공하고자 하는 궁극적인 목표임. 그러나 일치하지 않을 수록 뇌는 이 예측 오류에 집중하고, 쉽게 피로함을 느낌. 이것이 VR을 처음 하면 쉽게 피로해지는 이유임. 다행인 점은, 사용자의 Mental Model은 지속적으로 일관적인 감각정보가 들어오면 수정될 수 있음. 즉, VR에서 잘못 제공되는 감각 자체를 새로운 Mental Model로 만들어버릴 수 있음. 이것이 VR를 오래 하다보면 적응되서 피로감을 느끼지 않는 이유임.

이후에는 가상 현실의 경험이 Mental Model과 부합해야 함. 그걸 알기 위해 사용자가 받아들인 감각을 어떻게 인지하는지 이해할 필요가 있음. 따라서 인지 과정에 대해 배움. 인지는 어떻게 하는가? 감각 기관에서 감각을 감지하면 그것을 전기 신호로 변환해서 뇌로 전달함. 뇌의 시상thalamus에 감각이 전달되고 그 감각은 두개의 경로를 통해 뇌의 두가지 회로에 전달됨. 바로 편도체와 피질임. 편도체 경로가 훨씬 빨리 정보가 전달됨. 편도체에서 이 정보를 입력받아 감정을 만들어내고, 즉각적인 행위를 하도록 도움. 이는 사람이 통제할 수 없고, 본능적으로 수행됨. 이후 반박자 느리게 피질로 전달된 정보는 감각을 디테일하게 해석함. 피질에서 하는 과정이 바로 인지임. 인지된 정보는 사용자가 가진 Mental Model (과거 경험, 주관 등..)에 의해 해석됨. 피질은 들어온 감각 정보를 어떻게 해석해서 어떻게 인지하는가?

피질이 여러개가 있는데, 1차 감각피질, 연합 피질을 거쳐 최종적으로 전두엽 피질에 도달한다고 함. 1차 감각피질에서는 아주 기초적인 시각 요소를 분석함. 이는 마치 영상 처리에서 Segment를 인식하는 과정과 같음. 선인지, 면인지, 색깔인지, 움직이는지 등만 알고 그것이 어떤 물체인지 인식하지 못함. 이후 분석된 정보들이 연합 피질로 모여 하나로 결합됨. 이때 과거의 기억, 경험과 대조해서 하나의 정보로 인식함. 아 이것이 컵이구나 라고 인식함. 인식된 정보는 최종적으로 전두엽 피질로 이동하여 이 정보를 가지고 내가 어떤 행동을 해야하는지 사용자의 Mental Model에 근거하여 의사결정하게 됨. 의사결정을 하게 되면 이때가 바로 운동 명령effernce을 생성하는 시기임. 동시에 들어올 감각 정보를 예측efference copy하여 이후 들어온 감각afference과 비교하여 본인의 Mental Model을 수정함. Mental Model이 수정되는 원리는 뇌의 신경가소성neuroplasticity에 있음.

이제 무엇을 배우는가?

위에서 대충 1차 감각피질이 시각 요소를 분석하고, 연합 피질이 얻은 정보가 무엇인지 인지하고, 전두엽 피질이 인지한 정보를 가지고 의사결정을 내린다고 설명했다. 이 과정에서 사람이 어떻게 공간을 느끼는지, 시간을 느끼는지를 설명한다.

의문점이 있다. 멀리 있는 물체는 작아 보이고, 가까이 있는 물체는 커보인다. 그런데 뇌는 어떻게 그것이 멀리있고, 가까이 있는지 구분하는가? 그냥 작은 물체 큰 물체인지, 같은 물체인데 그것이 멀리있는지 가까이있는지 이것을 어떻게 구분하는가?

일관적인 감각 정보를 계속 제공하면 Afference-Efference 싸이클에서 예측 오류를 수정하는 과정에서 사용자의 Mental Model이 변화한다고 설명했다. 이 적응하는 과정을 더 자세히 살펴보고, 사용자의 의식적인 수준에서 무엇을 주의 기울일 것인지에 따라 무엇을 인지하는지, 인지가 어떻게 달라지는지 살펴본다.

현실같은 감각Afference을 어떻게 제공할까? 비디오를 촬영해서 진짜 현실같이 보여주는 방법과, 컴퓨터 그래픽으로 가상현실을 창조하는 방법이 있다. 그리고 어떻게 사용자가 예측한 Efference Copy와 부합하는 Afference을 제공할까? 이것을 평가하는 척도로써 상호작용 충실도를 배운다. 그 Afference를 만들기 위해 사용자의 Efference 결과를 잘 입력받는것도 중요하다. Input Device에서 배운다.

VR 피로도, VR 멀미를 단순히 Afference와 Efference Copy의 불일치라고 설명했다. VR 멀미에 대해 더 자세히 알아보고, 현재 VR 하드웨어의 한계점에 대해 알아보자.