蘋果探索HUGS技術:讓動態場景中的人物呈現更逼真

蘋果探索HUGS技術:讓動態場景中的人物呈現更逼真 hugs technology 3d gaussian dynamic rendering

最近,蘋果神經渲染技術有了重大的突破,但大多數方法僅適用於靜態場景的拍攝,而無法涵蓋動態場景中移動的人類。然而,一項名為 Human Gaussian Splats(HUGS)的新技術正在改變這一局面。

 

從靜態到動態的進化



HUGS 利用 3D Gaussian Splatting 技術,能夠在動態場景中創建高度可移動的人物形象。這項技術僅需極少的主體視頻,即可準確地呈現出人物在場景中的動態表現。

 

人體模型與3D高斯分布

該技術利用 SMPL 人體模型作為起始點,再通過 3D 高斯分布來捕捉人體周圍的細節,如衣物、頭髮等。這種結合使得所呈現的人物形象更加生動逼真。

hugs technology 3d gaussian dynamic rendering 2

克服挑戰:動態高斯分布

然而,使用 3D 高斯分布帶來了新的挑戰,特別是在人物姿態變換時可能出現的畫面問題。為了解決這個問題,我們提出了聯合優化的方案,通過線性混合蒙皮權重來協調每個高斯分布的運動。

 

新境界:創新姿態與視角合成

透過我們的方法,不僅能夠合成全新的人體姿態,還能實現對人物和場景的新視角合成。我們的渲染質量達到了最高水準,並且渲染速度高達每秒 60 幀,訓練速度更是優於之前的方法高達 100 倍。

 

結語

©iPhone News 愛瘋了表示,HUGS 技術的出現,為動態場景下的人物呈現開啟了全新的可能性。它不僅提供了更高質量的渲染,更在速度和訓練效率上取得了巨大的突破。該技術將成為未來電腦視覺領域的重要里程碑。

原文:HUGS: Human Gaussian Splats

 

發表留言