애플, 생성형 AI로 사람같은 디지털 아바타를 춤추게 한다?!

---

Human Gaussian Splats -capable of creating animatable (3DGS) avatars from a casual video (50-100 frames) in ~30 mins.

휴먼 가우시안 스플랫 - 캐주얼 동영상(50~100프레임)으로 애니메이션이 가능한(3DGS) 아바타를 약 30분 만에 만들 수 있습니다.

---

사진출처) 애플

 

애플(Apple)은 약 30분 만에 짧은 동영상으로 동일한 사람 모양의 디지털 아바타를 생성할 수 있는 생성 AI 기술인 HUGS(Human Gaussian Splats)에 대한 연구 논문을 발표했습니다.

​

애플의 기계 학습 연구(Machine Learning Research) 홈페이지를 통해 공개되었으며, 애플의 연구원 아누라그 란잔(Anurag Ranjan)이 X에서 공유한 "HUGS: Human Gaussian Splats"는 사람같은 디지털 아바타를 만드는 기술에 대해 논의합니다. 연구에서는 기계 학습과 컴퓨터 비전을 사용하여 상대적으로 적은 양의 소스 자료를 사용하여 만드는 과정에 대해 상세히 설명합니다.

​

이러한 기술을 신경망 렌더링 기술(Neural Rendering Techniques)이라고 하며, 이전 버전에 비해 눈에 띄게 개선되었지만 '정적 장면의 사진 측량에 가장 적합하며 환경에서 자유롭게 움직이는 인간에게는 잘 일반화되지 않습니다'라고 소개 단락에서 설명합니다.

​

HUGS(Human Gaussian Splats)의 개념은 3D Gaussian Splatting이라는 기술을 사용하여 영상 내에서 다양한 움직임이 가능한 디지털 아바타를 만듭니다.

​

만드는 방법은 배경이 되는 영상과 움직이는 사람을 피사체로 한 샘플 영상이 필요하며, 영상 속에서 아바타의 동작에 대한 정보를 보여줘야 합니다. 사람의 샘플 영상은 매우 짧은 클립도 사용할 수 있으며, 때로는 50~100프레임의 짧은 영상(24fps 비디오의 2~4초 정도)을 사용할 수도 있습니다.

​

※ Anurag Ranjan의 X : https://x.com/anuragranj/status/1737173861756485875?s=20

 

애플은 이 시스템으로 '30분 이내에 정적 장면과 완전히 애니메이션 가능한 인간 아바타를 분리'하도록 훈련되었다고 이야기합니다.

​

샘플(SMPL) 신체모델 영상을 이용하여 사람의 가우스 모델을 초기화하는 데 사용되지만 모든 세부 사항을 캡처할 수는 없습니다. 옷감, 머리카락 등 모델링되지 않은 요소에 대해서는 샘플 모델에서 벗어난 영역은 캡처된 모델 내에서 공백을 메우는 정도의 프로세스가 가능합니다.

​

선형 혼합 스킨 가중치를 최적화하여 애니메이션 중에 가우스 모델의 움직임을 조정하여 모델의 모양을 개선하는 제안도 있습니다.

​

결국 훈련 영상부터 HD 해상도, 60fps의 렌더링 속도로 출력되는 인간 모델과 장면의 '최첨단 렌더링 품질' 애니메이션까지 걸리는 시간은 약 30분 정도입니다. 이는 NeuMan 및 Vid2Avatar를 포함한 다른 방법보다 약 100배 이상 빠른 것으로 알려져 있습니다.

​

연구 논문에는 저자가 Muhammed Kocabas, Rick Chang, James Gabriel, Oncel Tuzel, Anurag Ranjan으로 기재되어 있으며, 막스 플랑크 지능형 시스템 연구소(Max Planck Institute for Intelligent Systems)와 공동으로 만들었습니다.

​

애플은 향후 출시될 애플의 혼합현실 기기인 비전프로(Vision Pro)를 위하여 매우 상세한 개념을 통해 오랫동안 디지털 아바타를 만드는 아이디어를 연구해 왔습니다. 페이스타임(FaceTime) 대화와 사용자의 외부 보기를 활성화하기 위해 헤드셋은 사용자를 표현하는 데 다양한 방식으로 사용되는 디지털 "페르소나"를 생성할 수 있습니다.

---

※ 기사 내용 참조

 

[Apple Insider] Apple isn't standing still on generative AI, and making human models dance is proof | By Malcolm Owen | Dec 19, 2023 | https://appleinsider.com/articles/23/12/19/apple-isnt-standing-still-on-generative-ai-and-making-human-models-dance-is-proof

 

[Apple] HUGS: Human Gaussian Splats | https://machinelearning.apple.com/research/hugs

---

https://pf.kakao.com/_UCxoxnT

웨어러블서치