전 세계 기업들이 주목하고 있는 인터넷상의 가상공간 메타버스(Metaverse), 그 발전의 열쇠를 쥐는 것이 현실 세계를 가상공간에 가져오는 영상 기술이다. 지금 메타버스와 같은 3차원 공간에서 몰입감을 제공하는 기술, '볼류메트릭 캡처(Volumetric Capture)'가 업계의 큰 주목과 기대를 받고 있으며, 일본에서도 관련 기술의 활용과 투자가 증가하고 있다.

세계 시장은 58억 달러 규모로 성장

'볼류메트릭 캡처(Volumetric Capture)'는 실제 인물과 인물의 움직임, 위치 등 공간 전체를 3D 데이터로 통째로 캡처해 CG화하는 기술을 말한다. 전신을 CG화하기 때문에 머리끝에서 발 끝까지의 모든 시점에서 스캔한 3D모델을 구현할 수 있다. 일단 실제 인물과 그 움직임을 모두 CG화해두면, 메타버스에 삽입하거나 배경 CG를 합성해 영상 작품을 만드는 등 다양한 활용이 가능하다.

<볼류메트릭 캡처의 이미지>

[자료: 닛케이 XTech]

보통의 CG로 옷자락이 흩날리는 느낌이나 주름 등 세세한 부분을 재현하기 위해서는 막대한 비용과 노력이 필요하다. 그러나 볼류메트릭 캡처 기술은 있는 그대로의 모습을 바로 3D모델화하기 때문에 메타버스에 ‘현실’을 도입하기 위한 유용한 툴로 활용될 것으로 보인다.

인도의 시장조사 회사 MarketsandMarkets는 볼류메트릭 영상의 세계시장 규모를 2020년의 14억 달러(추정치)에서 2025년에는 58억 달러까지 확대될 것으로 예측하고 있다.

<볼류메트릭 캡처의 세계시장 규모>

[자료: MarketsandMarkets]

일본에서도 2020년 이후부터 소니 그룹과 캐논, NTT도코모, 소프트뱅크 등이 볼류메트릭 캡처 전용 촬영 스튜디오를 연이어 개설하면서 시장에 대한 기대와 투자가 높아지고 있다.

소니와 도코모 등이 촬영 스튜디오 설치

볼류메트릭 캡처 전용 스튜디오의 촬영(캡처) 공간 주위에 카메라를 수십 대 이상 배치해 피사체를 동영상으로 촬영한 다음, 볼류메트릭 기술을 활용하면 리얼한 3DCG 모델을 단시간에 제작할 수 있다. 촬영 대상의 움직임까지 통째로 캡처하기 때문에 완성된 3DCG는 머리 끝에서 발 끝까지 이용자가 좋아하는 시점에서 볼 수 있다.

<일본의 주요 볼류메트릭 캡처 스튜디오>

[자료: 닛케이 XTech]

볼류메트릭 캡처 전용 스튜디오의 공통점은 스튜디오 내부에 촬영 대상을 감싸듯 다수의 카메라가 배치돼 있다는 점, 그리고 촬영한 영상을 처리하기 위해 고성능 GPU를 탑재한 다수의 서버가 설치되었다는 점이다.

캡처 공간의 크기는 스튜디오마다 상이하다. 공간이 넓을수록 다양한 움직임이 가능하며, 동시에 많은 사람을 촬영할 수 있다. 다만 넓은 공간을 캡처하기 위해서는 그만큼 많은 카메라가 필요하며, 데이터 처리에 많은 시간과 비용이 소요된다. 어느 정도의 카메라를 어떻게 배치할 지는 각 사의 노하우에 달려 있다고 할 수 있다.

활용 사례: 불류메트릭 캡처로 어린이를 3D화

이러한 전용 스튜디오는 설비투자에 수십억 엔 이상이 소요되기 때문에 당분간은 업계 종사자 및 전문가를 중심으로 활용될 것으로 보이나 이와는 별개로 볼류메트릭 영상의 대중화를 위한 움직임도 시작되고 있다. 일본 대기업 통신사 KDDI는 '21년 3월, 어린이가 다양한 직업을 체험할 수 있는 어린이 놀이 시설 ‘키자니아 도쿄’에서 볼류메트릭 캡처를 활용한 영상 체험 이벤트를 개최했다. 심도(深度)정보*를 수집할 수 있는 마이크로소프트의 카메라 ‘Azure Kinect’ 8대를 원 둘레 위에 같은 간격으로 배치한 가설 부스를 설치하고 그 속에 아이가 들어가서 15초 분량의 영상을 촬영하면, 제작한 3DCG모델에 배경 CG를 입힌 영상을 선물하는 기획이다.(심도정보: 목적관의 지표면에서 지하시설물관로 상단 중앙까지의 거리를 나타내는 심도의 정보를 말한다.)

<키자니아 도쿄에서의 볼류메트릭 영상 촬영 부스>

[자료: KDDI]

영상의 품질은 전용 스튜디오에서 촬영한 것에 비해 떨어지나 다수의 대중에게 신선한 체험을 제공할 수 있다. 실제로 아동과 반려동물을 촬영한 볼류메트릭 영상을 손쉽게 제작하고자 하는 수요는 상당히 많을 것으로 기대하고 있다.

NTT도코모도 자사 스튜디오 내에 아동의 3DCG 제작을 위한 키오스크형 촬영장치 ‘Mantis 3iosk’를 도입했다. 설치 면적은 2.57m×2.57m(캡처 공간은 직경 0.85ｍ×높이 2.05ｍ), 장치에 2.5K(500만 화소) 카메라(25fps)가 32대 설치돼 있어 실시간 모드라면 수분 만에 15초 분량의 3D 동영상을 제작할 수 있다.

일본에 거점을 둔 미국의 Holotch사는 볼류메트릭 영상을 스마트폰과 태블릿으로 간단히 촬영해 스마트폰과 PC의 웹 브라우저에서 볼 수 있는 시스템을 개발하고 있다. 물론 이렇게 손쉽게 제작한 볼류메트릭 영상은 전용 스튜디오에서 제작하는 것에 비하면 품질은 떨어진다. 그러나 이용자의 체험 만족도가 높다면 품질이 전문 스튜디오에서 촬영한 영상보다 약간 떨어진다해도 이용자가 수용할 가능성이 높다. 향후 하드웨어와 AI기술이 더욱 발전한다면 대중을 타깃으로 한 볼류메트릭 영상 솔루션이 주류가 될 가능성 또한 존재한다.

과제: 저가격화와 데이터 삭감

볼류메트릭 영상 활용은 이제 막 실용화에 한발을 내디딘 상황으로 아직 많은 과제가 존재한다. 무엇보다 설비 장치가 크고 소요 비용이 막대하다. 또한 수십 대의 카메라로 고화질 영상을 촬영하기 때문에 고속 통신 네트워크와 고사양 서버, 대용량 저장 공간이 필수다. CG 모델의 품질은 카메라의 대수와 그 해상도 등에 크게 좌우된다. 즉, 품질과 용량의 밸런스를 맞추면서 완성도를 높이는 것이 현 시점의 최대 과제라 할 수 있는 것이다. 이에 품질 저하 없이 볼류메트릭 영상의 전송 레이트(transfer rate)를 낮추는 기술이 속속 개발되고 있다. (전송 레이트: 시간당 전송할 수 있는 데이터 양)

NHK 방송기술연구소는 '21년 6월에 온라인 개최한 ‘기술연구공개 2021’에서 볼류메트릭 영상 전송 시 용량을 줄일 수 있는 기술을 선보였다. 구체적으로는 콘텐츠를 구성하는 오브젝트를 각각 독립된 데이터로 다중화해서 스트리밍 전송하는 것으로, 오브젝트별로 프레임 비트*를 바꾸거나 표시에 불필요한 데이터를 간단히 파기할 수 있다. (프레임 비트: 프레임의 처음과 끝을 구분하기 위한 프레임 동기용 비트)

NHK에서는 움직이는 인물 6명의 영상을 30fps, 정지물 4개를 1fps로 전송한 바, 모든 오브젝트를 30fps로 전송한 것 대비 총 전송 비트 레이트를 565Mbps에서 326Mbps로 약 60%로 줄이는 데에 성공했다고 밝혔다.

NTT는 2021년 11월에 고품질 볼류메트릭 영상을 인터넷 소비자 회선에서 스트리밍하는 데에 적합한 데이터 용량 삭감기술을 공개했다. NTT는 이용자에게는 3D 모델의 일면밖에 보이지 않는다는 점에 착안하여 보이지 않는 뒷면의 데이터를 줄여 스트리밍하는 수법을 고안했다.

<NTT의 데이터 간소화 기술>

[자료: NTT]

구체적으로는 완성된 3D 모델 주위에 같은 간격의 가상 카메라를 8대 배치했다. 각 카메라 시점에서의 3D모델 뒷면을 거칠게 만든 뒤, 간소화시킨 데이터를 미리 작성해둔다. 스트리밍 시에는 이용자가 어느 시점에서 보고 싶은지에 대한 정보를 취득해서, 이용자와 볼류메트릭 영상의 상대 각도를 산출한다. 이용자와 가장 가까운 가상 카메라의 영상을 단말에 전송하는 구조다. NTT는 이 3D 배경 간소화 기술로 평균 30~50%의 데이터 용량을 줄일 수 있다고 밝혔다.

시사점

온라인상의 가상현실공간은 이전에도 존재해왔다. 다만, 지금의 메타버스 붐이 이전의 가상현실과 다른 점은 크게 두 가지가 있다. 하나는 기술의 진화로 현실 세계와의 경계가 무너지면서 ‘리얼한 현실’을 가상 공간에 가져올 수 있게 됐다는 점이다. 다른 하나는 최근 코로나19 사태가 장기화되면서 이용자가 원격 커뮤니케이션에 익숙해졌다는 점이다. 이는 메타버스의 이용에 대한 일반인의 문턱이 단번에 낮아진 것을 의미한다. 이러한 기술의 진화와 환경의 큰 변화가 메타버스라는 가상현실공간이 급증한 요인이 됐다.

연이은 볼류메틱 스튜디오의 개설 또한 이러한 이유 때문으로, 관련 스튜디오 개발에 참여하는 일본 S그룹의 K 부장은 “컴퓨팅과 GPU 등 기술의 진화로 이제야 시청이 가능한 품질이 됐다”라고 설명했다. 그러나 아직은 위화감을 전부 없애기에 충분한 품질을 확보하지 못했다고 하며, “3DCG 영상은 아무래도 보통의 2D 영상과 비교된다. 얼굴 클로즈업 등에는 아직 적합한 레벨은 아니다”라고 현재의 기술 수준에 대해 이야기한다.

이제 막 여명기에 접어든 볼류메트릭 캡처 기술은 센서와 컴퓨팅, 영상처리 등의 기술 진보에 따라 점차 발전해 나갈 것이다. 그중에서도 기술 보급의 열쇠가 되는 기술 중 하나가 인공지능(AI)이다. 이미 NTT도코모의 TetaVi Studio에서는 적외선 카메라로 인물의 입체 정보를 수집할 때 AI로 보완 처리를 하는 등 AI 기술을 활용하고 있으나 이 밖에도 활약의 장은 향후 점점 확대될 것이다. 볼류메트릭 캡처 기술이 향후 어떻게 진화를 거듭해 메타버스의 활용에 기여하게 될 것인지, 업계의 귀추가 주목되고 있다.

자료: KDDI, NTT, 소니 등 각사 홈페이지, 닛케이 일렉트로닉스, 닛케이신문, 닛케이XTech, KOTRA 도쿄 무역관 자료 종합