ⓒ 데일리포스트=이미지 제공/디즈니

[데일리포스트=김정은 기자] 영상 작품에서는 CG나 VFX를 활용함으로써 현실에서는 불가능한 연출을 하거나 소품으로 만들 수 없는 물체를 등장시킬 수 있다.

디즈니 AI 연구 부문은 안구·입안·머리카락 등이 존재하지 않는 3D 얼굴 맵과 AI를 결합해 살아있는 사람과 같은 '자연스러운 얼굴'을 만들어 내기 위한 연구를 하고 있다. 

디즈니가 개발한 기술이 어떤 방식인지는 아래 영상에서 확인할 수 있다. 

이미 인간의 얼굴을 캡처하는 기술은 상당히 높은 단계까지 진화했지만 눈이나 입안, 머리카락과 같은 세부적인 모습까지는 재현하지 못한 상태다. 

ⓒ 데일리포스트=이미지 제공/디즈니

2016년에 공개된 영화 '로그 원: 스타워즈 스토리'에서는 1994년에 사망한 배우 피터 커싱이 과거작에서 연기한 윌허프 타킨(스타워즈에 등장하는 대총독)을 재등장시키기 위해, 다른 배우가 연기한 얼굴의 모션 캡처를 바탕으로 CG로 커싱의 얼굴을 합성하는 방법을 채택했다. 

재현된 타킨은 꽤 높은 평가를 받았지만 말하거나 움직일 때 다소 어색했다는 지적도 나왔다. 

ⓒ 데일리포스트=이미지 제공/'로그 원: 스타워즈 스토리'

이처럼 아직까지 캡처로 생성한 모델과 실제 사람 사이에는 격차가 존재하며, 숙련된 아티스트의 수작업도  필요하다.

디즈니는 3D 얼굴 피부와 뉴럴 렌더링으로 생성한 눈이나 입 등의 요소를 조합해 영상 작품 속에서도 자연스러운 얼굴을 구현하기 위해 노력하고 있다.

연구팀이 사용한 것은 엔비디아(NVIDIA)가 개발한 이미지 생성 알고리즘 '스타일GAN2(StyleGAN2)'다. 2018년에 발표한 스타일GAN을 업그레이드한 스타일GAN2는 CG보다 훨씬 사실적인 눈과 입을 만들 수 있다.

ⓒ 데일리포스트=이미지 제공/디즈니

연구팀은 3D 얼굴 피부와 스타일GAN2로 생성한 눈·입과 같은 세부 사항을 결합해 훨씬 사실적인 얼굴을 만들 수 있다고 설명한다. 다양한 표정이 가능하고 얼굴 각도와 조명 변화에도 대응할 수 있다.

ⓒ 데일리포스트=이미지 제공/디즈니

다만 생성한 얼굴을 움직일 때 일관된 '헤어스타일'을 유지하기 어려운 문제 등이 남아있어, 실제로 영상 작품 등에 이용하려면 추가 연구가 필요하다.

연구팀은 이 접근법이 '얼굴 이미지 데이터 세트'를 생성하는 잠재적인 기술이 될 것이라며 기대감을 보였다. 

저작권자 © 데일리포스트 무단전재 및 재배포 금지