코로나19가 일상 생활을 바꿔놨다. 전염병 확산을 방지하기 위해 업무, 여가, 교육 등이 대면 중심에서 비대면(Untact) 중심으로 변화했다. 스카이프와 줌(Zoom) 등 화상회의 솔루션을 이용해 업무를 진행하고, 각종 문화 콘서트와 전시회가 온라인 환경에서 개최하는 등 다양한 사회ㆍ문화적 변화 바람을 불러 일으키고 있다.
이 흐름에 맞춰 ‘확장현실(XR : eXtended Reality)’ 기술이 대안으로 주목받고 있다. XR은 가상현실(VR)ㆍ증강현실(AR)ㆍ혼합현실(MR)ㆍ홀로그램(HR)을 포괄하는 용어로 실감 기술 모두를 의미하는 말이다. XR을 MR의 확장 개념으로 바라보는 시각도 있다. 현실과 가상 현실 사이에 상호작용을 강화하고 현실에 나타난 가상 물체를 직접 만질 수 있는 기술로 해석하는 것이다.
코로나19 기간 중 가상 컨퍼런스(Virtual Conference)는 VR 기술로 전 세계 사람을 가상 공간에 모았다. ‘VR 서밋 에듀케이터스(Educators in VR Summit)’는 알트스페이스의 VR 플랫폼으로 개최해 6000명이 넘는 인원이 참가했다. ‘HTC 바이브 에코시스템 컨퍼런스(VEC)’도 VR 기업 인게이지와 협업해 가상공간 수용 인원을 5000명으로 확대했다.
가상공간에서 펼쳐진 스포츠 경기도 있다. 코로나19 기간에 미국 자동차 경주대회 나스카(NASCAR)는 예정된 경기를 모두 취소하고 시뮬레이션 레이싱 소프트웨어(SW) 아이레이싱을 이용한 카레이싱 대회 ‘eNASCAR iRacing Pro Invitational Series’를 열었다.
선수들은 개인 사무실이나 집에서 VR 기기를 이용해 가상공간에 접속, 경기에 참여했다. 실제 경기장을 그대로 묘사한 가상 환경이 구현됐으며, 폭스 스포츠 채널은 이 경기를 중계했다. 나스카는 이 콘텐츠로 매주 90만명 이상의 시청자를 확보했다.
이외, 세계적 자동차 경주 대회 포뮬러원(F1)은 ‘Virtual F1’을 개최했으며 사이클 대회 ‘Virtual Tour of Flanders’도 XR을 활용해 진행했다.
◆ 인공지능(AI)ㆍ사물인터넷(IoT)과 만난 XR
최근 3년간 XR 분야는 보다 실감나는 기술 실현을 위해 인공지능(AI)과 융합을 이뤄내고 있다.
지난 2017년 실시간 3D 개발 플랫폼 유니티는 소프트웨어 개발 키트(SDK) ‘유니티 머신러닝(ML) 에이전트’를 출시했다. 유니티 ML 에이전트는 개발자가 VRㆍAR 앱 개발 시 복잡한 프로그래밍이나 코딩 작업을 하지 않아도 ML 환경을 쉽게 만들고 테스트해 볼 수 있도록 한다. 이 SDK를 이용하면, 파이썬 API를 통해 다양한 ML로 에이전트를 훈련할 수 있다.
2018년 미국 무선 통신 기업 퀄컴은 세계 최대 AR 엑스포 ‘AWE(Augmented World Expo)’에서 XR을 지원하는 플랫폼 ‘XR1’을 발표했다. XR1은 AI 사용 사례를 분석해 저전력 ML 기반 컴퓨터 비전 알고리즘을 실행한다. 이를 바탕으로 객체 분류, 자연어 처리, 음성 인식 등 VRㆍAR 앱에 새로운 기능을 제공한다.
이후 2020년 5월에 열린 AWE에서 퀄컴은 ‘XR 뷰어’ 경량 헤드셋 디바이스를 공개했다. XR 뷰어는 AP인 퀄컴 스냅드래곤 855ㆍ865 모바일 플랫폼을 탑재했으며, 5세대(5G) 이동통신을 바탕으로 스마트폰과 연동 가능하기 때문에 지연성이 낮고 몰입감을 높일 수 있다. 디바이스 안에 있는 센서로 정보를 수집하고 이를 스마트폰으로 전송한다. 이 과정에서 그래픽 등 전반적인 XR 프로세싱이 이뤄진다.
AR 협업 플랫폼을 개발하는 미국 스타트업 스페이셜은 3D 홀로그램 이미지를 활용한 원격 화상회의 시스템을 만들었다. ML 기술과 이용자 사진으로 3차원 아바타를 만들어 가상 공간에 불러낸다. AR 헤드셋 센서가 이용자 움직임을 감지한 후 아바타가 이를 재현한다. 또 이용자 주변 사물과 공간 등도 불러낼 수 있기 때문에 가상공간에서 이미지를 소환하고 이를 보면서 함께 대화할 수 있다.
사물인터넷(IoT)와 VRㆍAR 간 융합 기술도 있다. 2018년 한국전자통신연구원(ETRI)이 발표한 ‘IoT 및 AI 융합을 통한 VRㆍAR 발전 전망’ 보고서에 따르면, IoT와 VRㆍAR 기술은 각각의 장단점을 이용해 서로의 한계 및 제약을 상호 보완해줄 수 있다.
IoT는 사물-사물, 사물-사람 연결이 가능하도록 원격 제어ㆍ모니터링과 감시 등에 활용하고 있지만 몰입감이 비교적 낮다. VRㆍAR은 사람과 디지털 콘텐츠 간 상호작용이 높지만 응용 분야의 한계가 있다. 이에 VRㆍAR 산업에서 IoT를 활용해 현실세계와 연계한 실시간 서비스 제공에 나서고 있다.
소프트웨어(SW) 개발 기업 씽웍스는 IoT 장치가 수집한 데이터를 시각화할 수 있는 AR 앱을 개발했으며, 프랑스 자동화 전문 기업 슈나이더 일렉트릭은 산업용 사물인터넷(IIoT) 산업 솔루션에 AR을 접목했다.
XR 산업 활성화 정책 연구를 맡고 있는 한상열 소프트웨어정책연구소(SPRi) 선임연구원은 XR 기술이 AI를 통해 상호작용성을 높이고 콘텐츠 제작 비용을 낮출 수 있다고 설명했다.
한 연구원은 “AI와 센싱 기술을 XR에 도입하면, 사용자의 콘텐츠 사용 데이터를 취득할 수 있고 이를 활용해 개인 맞춤형 XR 콘텐츠를 만들 수 있다”며 “사용자 흥미를 높이고 학습 효과를 높일 수 있을 것이다”라고 전망했다.
이어 “생성적 적대 신경망(GAN)으로 정교한 그래픽 구현이 가능해 XR 몰입도가 높아지고 콘텐츠 제작 비용도 절감할 수 있을 것”이라고 기대했다.
◆ 풍부한 소통 방식과 공감대 형성…코로나19 피로감도 덜 수 있어
지난 6월 SPRi이 발표한 ‘비대면 시대의 게임 체인저 XR’ 보고서에 따르면, XR은 원격에서 풍부한 소통 방식을 가능하게 하고 대면 수준의 공감대를 형성하며 코로나19 피로감도 덜어줄 수 있다.
의사소통을 원활히 하는 데는 언어적 요소뿐 아니라 몸짓, 표정, 목소리 등 비언어적 요소도 중요하다. 전달하는 정보가 복잡할수록 다양한 의사소통 수단이 필요하다.
XR은 신체 제스처와 오디오 등을 그대로 전달해 원활한 의사소통이 가능하다. 또 오디오와 제한적 시각 정보만 제공하는 화상 회의보다 충분한 정보 전달이 가능해 사용자의 집중력을 높인다.
XR 이용자는 업무ㆍ학습 시 가상 객체에게 공감대를 느낄 수 있다. 이는 가상 경험을 실제 경험처럼 느끼게 해 대면 수준에 가까운 훈련ㆍ교육 효과를 낸다.
한상열 연구원은 “실제 XR 활용 교육 및 훈련 사례에서 정량적 개선효과가 보고되고 있다”며 “기업과 학교는 비대면 상황에서 안전하고 효과적 솔루션을 원하기 때문에 훈련ㆍ교육 XR 수요는 지속 증가할 것이다”라고 전망했다.
한 장소에서 다양한 사회활동 참여도 가능하다. XR 기기만 있으면 가상 공간에서 친구와 수업을 들을 수 있고 직장 동료와 대면 미팅을 할 수 있다. 또 XR 여행 서비스로 세계 곳곳을 누비거나 XR 명상 서비스로 숲 속에서 명상을 하는 등 취미 활동도 즐길 수 있다.
한 연구원은 “집이라는 한정적 공간에서 XR을 이용해 다양한 가상 체험을 할 수 있어 코로나19블루를 완화할 것”이라고 설명했다.
코로나19 블루는 코로나19로 비대면 상황에 접어들며 제한된 공간에서 대부분을 보내고 사회활동 참여가 어려워져 스트레스와 우울감을 느끼는 증상이다.
그는 또 “현재 ‘제페토’와 ‘동물의 숲’ 등으로 많은 이용자가 가상공간에서 사교활동을 이어가고 있다”며 “이 흐름이 XR 기술 발전, 세대 변화 등과 맞물려 더 확장할 것이다”라고 분석했다.
◆ 상승 중인 글로벌 경쟁력…정부 주도 지속 투자로 강점 분야 콘텐츠 확보해야
지난해 정보통신기획평가원(IITP)이 발표한 ‘2018 ICT기술수준조사’에 따르면, 국내 디지털 콘텐츠 분야는 최고 기술국 미국과 약 1.3년의 기술 격차를 보였다. 2015년 1.6년의 기술 격차를 보인 것과 비교해 점차 증가 추세지만, 일본과 유럽 등 기술 선진국보다 여전히 차이를 보이고 있다.
이에 보고서는 중국의 경우 정부 주도 디지털 콘텐츠 분야 산업을 육성하고 있는 만큼, 이를 벤치마킹해 국내에서도 관련 분야 육성에 필요한 예산 확보와 정책적 제도 개선이 필요하다고 지적했다. 중장기 연구개발(R&D) 투자로 MR 등 선도 기술 확보도 추진해야 한다고 강조했다.
한 연구원도 “5G 상용화를 계기로 국내 이동통신사가 XR 콘텐츠 분야 투자를 확대했다”고 평가하면서도 “하지만 글로벌 대비 투자 규모가 제한적이고 현재까지는 국내 시장에 집중하고 있는 것으로 보인다”고 설명했다. 이어 “국내 XR 공급 기업 대부분이 영세 규모이기 때문에 기술 개발과 콘텐츠 제작 투자에 한계가 있다”고 분석했다.
이에 그는 정부와 국내 기업의 지속적인 XR 기술 투자가 필요하다고 봤다. 한상열 연구원은 “정부와 기업이 장기적 로드맵을 갖고 XR 기술 개발에 투자해 국내 초기 시장을 조성해야 할 것”이라며 “XR 기술에 DNA(DataㆍNetworkㆍAI) 기술 접목을 활성화하고 제조업과 교육 등 국내 강점 분야의 XR 전환을 이뤄내면 글로벌 시장에서 경쟁력 있는 성공 사례가 나올 것”이라고 기대했다.
