最近，蘋果神經渲染技術有了重大的突破，但大多數方法僅適用於靜態場景的拍攝，而無法涵蓋動態場景中移動的人類。然而，一項名為 Human Gaussian Splats（HUGS）的新技術正在改變這一局面。
從靜態到動態的進化
HUGS 利用 3D Gaussian Splatting 技術，能夠在動態場景中創建高度可移動的人物形象。這項技術僅需極少的主體視頻，即可準確地呈現出人物在場景中的動態表現。
人體模型與3D高斯分布
該技術利用 SMPL 人體模型作為起始點，再通過 3D 高斯分布來捕捉人體周圍的細節，如衣物、頭髮等。這種結合使得所呈現的人物形象更加生動逼真。
克服挑戰：動態高斯分布
然而，使用 3D 高斯分布帶來了新的挑戰，特別是在人物姿態變換時可能出現的畫面問題。為了解決這個問題，我們提出了聯合優化的方案，通過線性混合蒙皮權重來協調每個高斯分布的運動。
新境界：創新姿態與視角合成
透過我們的方法，不僅能夠合成全新的人體姿態，還能實現對人物和場景的新視角合成。我們的渲染質量達到了最高水準，並且渲染速度高達每秒 60 幀，訓練速度更是優於之前的方法高達 100 倍。
結語
©iPhone News 愛瘋了表示，HUGS 技術的出現，為動態場景下的人物呈現開啟了全新的可能性。它不僅提供了更高質量的渲染，更在速度和訓練效率上取得了巨大的突破。該技術將成為未來電腦視覺領域的重要里程碑。
原文：HUGS: Human Gaussian Splats