3D 기반 디지털 더블, 게임 엔진 활용, 딥페이크, 생성AI 기법 등
그래픽 품질, 표정과 움직임 표현 등 “인간과 흡사”
[애플경제 전윤미 기자] 가상 인간, 즉 ‘버추얼 휴먼’은 날로 그 쓰임새가 확장되고 있다. 최근 잇따른 AI 관련 전시회 등에선 날로 새로운 버추얼 휴먼 기술이 등장하고 있다. 버추얼 휴먼 제작 기법과 방식에 따라 그 용도나 기능도 다양하다.
기술, 제작기법, 형태 따라 표현 방식, 용도 달라
전문가들에 의하며 이는 우선 3D 기반의 디지털 더블 방식, 게임 엔진을 활용한 방식, 딥페이크 기법, 그리고 생성AI를 활용하는 방법 등이 있다. 최근 이를 구체적으로 분석, 소개한 김광집 서울예술대학교 조교수는 “3D 스캐닝이나, 딥페이크, GAN 등 다양한 기술을 기반으로 실제 사진으로는 구별하기 힘들 정도의 ‘포토 리얼리스틱’한 버추얼 휴먼들이 제작되고 있다.”고 최근의 기술 추이를 소개했다.
그에 따르면 제작 과정에서 활용되는 기술이나, 제작 방식, 형태에 따라 버추얼 휴먼의 표현 방식이나 용도가 달라진다. 그래서 “콘텐츠별로 특성에 맞게 다양한 제작 방식이 적용되어야 할 것”이라고 했다.
제작방식, 크게 4가지로 구분
버추얼 휴먼 제작 방식은 크게 4가지 정도로 구분된다. ‘디지털 더블(Digital Double)’ 방식의 경우는 ‘Full 3D’ 기술로 얼굴을 제작한다.
이는 “원본 대상의 물리적인 특징과 외모, 움직임 등을 정확하게 3D로 재현하는 것을 목표로 한다.”는 것이다. 그렇다보니 헐리우드 영화에 사용될 정도로 그래픽 품질이 뛰어나고 화각도 정밀하다. 다만 제작 비용이 많이 들고, 제작 공정 시간도 오래 걸린다.
게임엔진(Engine Based) 방식은 실시간 게임엔진을 활용, 전신을 제작하는 것이다.
이는 일단 디지털 더블 방식과 유사하다. 하지만 게임엔진을 기반으로 제작되고 활용된다는 점이 다르다. 김 교수는 “얼굴과 실제 사람의 몸을 합성하기보단, 전신을 3D로 만들어 구현하는 것이 일반적”이라며 “실시간 렌더링, 물리(물질과 디지털) 시뮬레이션이 가능하다는 특징 덕분에 실시간 상호작용이 가능한 버추얼 휴먼을 제작할 수 있다”고 소개했다.
이는 또한, 모션 캡처 및 페시스 캡처를 통해 실시간 움직임을 표현하고, 주변 배경에 다양한 효과를 표현할 수 있다.
이는 모션 캡처 장비를 이용하면 실시간 움직임과 얼굴 표정을 표현할 수 있다. 그러나 디지털 더블에 비해서 구현되는 그래픽 품질이 낮다는게 단점으로 꼽히기도 한다.
딥페이크(Deepfake) 방식의 경우 실제 촬영된 사람의 몸에 2D 기반의 가상 얼굴을 합성하는 것이다.
이는 실제 사람의 몸은 그대로 표현하고, 가상인간의 얼굴을 인공지능으로 학습하여 기존 모델의 얼굴에 합성하는 방식이다. 비용이 적게 들고 작업 속도가 빠르다. 그래서 가장 많이 대중화된 방식이기도 하다. 그러나 해상도가 낮고 표현할 수 있는 얼굴 각도가 제한되어있으며, 움직임 표현도 제한적이다. 그래서 ‘가상’ 내지 ‘가짜’임을 금세 식별해낼 수 있다.
생성형 AI(Generative AI) 방식은 이미지 데이터셋을 구축하여 텍스트로 결과물을 생성하는 생성AI의 특성을 활용한 것이다.
이는 딥러닝 모델을 기반으로 하여 텍스트, 음성, 이미지 등 다양한 유형의 데이터를 학습하고, 자연스러운 콘텐츠를 생성한다. 특히, 주어진 데이터의 통계적 패턴을 학습, 새로운 내용을 생성할 수 있다. 또 사람의 이미지 데이터를 수집하고, 이를 AI 모델에 학습시켜 사람과 유사한 모습의 결과물 만들어 낼 수 있다.
김 교수는 “최근 생성AI가 발달하면서 이 기술을 이용하여 가상 인간을 제작하고자 하는 시도가 증가하고 있다.”고 전했다.
이는 별도 그래픽 작업을 하지 않고 텍스트로 빠른 시간에 결과물을 생성할 수 있다. 그러나 일관성 있는 이미지를 제작하기 어렵고, 영상으로 구현하는데 한계가 있다는 지적이다.
이같은 기술에 기반한 ‘버추얼 휴먼’은 특히 메타버스 공간과 접목하고, 챗GPT 등을 활용함으로써 다양한 산업, 특히 콘텐츠 생성 분야에서 널리 쓰일 것으로 전망된다. 특히 “자연어처리, TTSㆍSTT 기술, 강화학습(RL), 특정 스타일 변환 기술, 3D 아바타 생성 기술 등 다양한 인공지능 딥러닝 기술 발전으로 활용 분야가 더욱 확대될 것”이라는 전망이다.