近日，蘋果機(jī)器學(xué)習(xí)研究團(tuán)隊(duì)發(fā)布博文，展示了全新的生成式AI技術(shù)——HUGS，能夠在30分鐘內(nèi)分析短視頻，然后映射創(chuàng)建新的動(dòng)作和角度。這項(xiàng)技術(shù)的推出，標(biāo)志著蘋果在AI領(lǐng)域取得了新的突破。
HUGS的全稱叫作Human Gaussian Splats，使用機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)，在原始輸入數(shù)據(jù)較少的情況下，創(chuàng)建出逼真的人像元素。這項(xiàng)技術(shù)利用3D Gaussian Splatting的技術(shù)，在場(chǎng)景中創(chuàng)建可移動(dòng)的人類。
蘋果官方介紹中表示，神經(jīng)渲染技術(shù)目前已經(jīng)有了長足的進(jìn)步，但最適合的場(chǎng)景依然是靜態(tài)場(chǎng)景的攝影測(cè)量，還無法推廣到環(huán)境中自由移動(dòng)的人類。而HUGS技術(shù)可以解決這一問題，使得神經(jīng)渲染技術(shù)在動(dòng)態(tài)場(chǎng)景中的應(yīng)用更加廣泛。
HUGS技術(shù)本身需要少量的主體視頻，通常在場(chǎng)景中運(yùn)動(dòng)，并顯示盡可能多的表面供系統(tǒng)工作。在某些情況下，該技術(shù)對(duì)源輸入數(shù)據(jù)的要求很低，最少可以低至50到100幀的單目視頻，相當(dāng)于2到4秒的24fps視頻。這意味著即使只有少量的視頻數(shù)據(jù)，HUGS也能夠創(chuàng)建出逼真的人像元素。
蘋果聲稱，該系統(tǒng)已經(jīng)過訓(xùn)練，可以“在30分鐘內(nèi)解開靜態(tài)場(chǎng)景和完全可動(dòng)畫化的人類化身”。這一速度比其他方法快100倍，使得HUGS技術(shù)在動(dòng)畫制作、游戲設(shè)計(jì)、虛擬現(xiàn)實(shí)等領(lǐng)域具有廣泛的應(yīng)用前景。
蘋果表示，SMPL體模型雖然用于初始化人類高斯模型，但無法捕獲每個(gè)細(xì)節(jié)。對(duì)于未建模的元素（如布料和頭發(fā)），該過程可以偏離SMPL模型，來填補(bǔ)模型捕獲中的空白。這一技術(shù)的推出，使得蘋果在人體建模和動(dòng)畫制作方面取得了重大突破。
總的來說，蘋果發(fā)布的全新生成式AI技術(shù)HUGS是一項(xiàng)具有劃時(shí)代意義的技術(shù)創(chuàng)新。它利用機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)，在原始輸入數(shù)據(jù)較少的情況下，創(chuàng)建出逼真的人像元素。這一技術(shù)的推出將為動(dòng)畫制作、游戲設(shè)計(jì)、虛擬現(xiàn)實(shí)等領(lǐng)域帶來革命性的變革。未來，我們有理由相信蘋果將在AI領(lǐng)域取得更多的突破和創(chuàng)新。
原創(chuàng)文章，作者：秋秋，如若轉(zhuǎn)載，請(qǐng)注明出處：http://2079x.cn/article/609004.html
