한국전자기술연구원이 광주과학기술원(GIST) AI대학원과의 공동연구로 「AI 기반 3D 객체 미디어 복원 기술」을 개발했으며, 컴퓨터비전 분야 세계 최고 권위의 학회인 CVPR(Computer Vision and Pattern Recognition, 컴퓨터비전과 패턴인식 학술대회)을 통해 발표한다고 19일 밝혔다.
이번에 KETI 지능형영상처리연구센터(윤주홍·박민규 박사)와 GIST 전해곤 교수팀이 개발한 인공지능(AI) 알고리즘은 고해상도의 단일 영상에서 고품질의 3차원 인물을 복원할 수 있다는 것이 가장 큰 특징이다.
KETI·GIST 연구진은 고해상도의 이미지를 효율적인 메모리로 처리하기 위해 영상 속 인물의 얼굴, 몸통, 팔, 다리 등 신체 각 부분을 분할 한 뒤 다중 단계의 딥러닝 알고리즘을 통해 개별 깊이 정보를 추정하였다.
연구진이 개발한 기술은 단일 영상의 이미지만으로 3D 인물을 복원하여 작업 비용과 시간을 대폭 단축*할 수 있기 때문에, 스튜디오 다중카메라를 활용한 기존 실사 기반 방식의 애로사항(고비용 및 기술적 한계 등)을 개선할 것으로 기대된다.
단일이미지를 이용하여 1001개의 3D 피규어 모델을 구현하는 환경에서 기존의 다중카메라 스튜디오의 작업시간(200일) 대비 10분의 1 수준인 약 20일이 소요된다.
기술 개발에 참여한 KETI 윤주홍 박사에 따르면 연구진은 3D 포토스캔 기업인 ㈜이오이스와 협력하여 가상 인물 2천여 명의 3차원 모델 정보를 담은 ‘2K2K* 데이터셋‘을 구축하였으며, 이를 세계 최대 규모 오픈소스 커뮤니티 깃허브(Github)를 통해 공개할 계획이다.
특히 2K2K 데이터셋은 인종·성별·나이·자세·헤어스타일 등 인물의 다양한 특성을 고려한 인구통계학적 균형을 충족하여, 과거 3D 모델링의 문제점으로 지적되었던 ’데이터 부족‘ 및 ’남성 편중‘ 현상을 개선할 전망이다.
이 기술은 지난 1월 삼성전자가 주최한 제29회 삼성휴먼테크 논문대상에서 은상을 수상하며 그 성과를 이미 인정받았으며, 지난 18일부터 5일간 캐나다 벤쿠버에서 개최되는 ’CVPR 2023‘ 상위 10% 논문(Highlight)에 채택되어 발표될 예정이다.
KETI 지능형영상처리연구센터 김제우 센터장은 “AI 알고리즘 기반의 사실적이고 효율적인 3D 인물 모델링은 가상현실과 디지털트윈 공간을 표현하는 핵심 요소이며, 궁극적으로 실사 적용이 가능한 메타버스 서비스 개발에 기여할 것으로 기대한다.”라고 밝혔다.
또한 GIST 전해곤 교수는 “연구진이 데이터 편향성과 저품질의 인체 3차원 데이터셋 문제를 해결하고, 이를 손쉬운 방법으로 복원할 수 있는 베이스라인 인공지능 알고리즘을 제안함으로써 높은 학술적 가치를 인정받을 수 있었다.”라고 언급했다.
한편 이번 연구는 과학기술정보통신부와 정보통신기획평가원의 지원으로 KETI가 주관하는 「다중 소스 영상의 객체 미디어 처리 기술 개발」과제, 산업통상자원부와 한국산업기술진흥원이 지원하는 「뉴럴 휴먼 모델링 기반의 사용자 참여형 메타버스 공연 솔루션 개발」과제 그리고 광주광역시의 지원으로 GIST가 주관하는 「인공지능 기반 메타버스 구현을 위한 융복합 문화 가상 스튜디오」과제를 통해 진행되었다.