深工| xR虛擬制片、數字人與動捕技術的融合革新

　　在數字(zi)(zi)化浪(lang)潮的(de)推動下，xR虛擬(ni)制(zhi)片(pian)(pian)(pian)、數字(zi)(zi)人和(he)動作捕捉技術正引領一場(chang)內容創(chuang)作的(de)革新(xin)。“通(tong)過xR虛擬(ni)制(zhi)片(pian)(pian)(pian)，創(chuang)作者(zhe)將創(chuang)意實現(xian)的(de)時間(jian)縮短了(le)(le)80%。”一位資深電影制(zhi)片(pian)(pian)(pian)人表示。xR虛擬(ni)制(zhi)片(pian)(pian)(pian)不僅(jin)為創(chuang)作提(ti)供了(le)(le)超越現(xian)實的(de)創(chuang)作空間(jian)，還(huan)大幅提(ti)高了(le)(le)影視行(xing)業的(de)生產效率。

　　在直播(bo)(bo)領域(yu)，數字(zi)人打破(po)了(le)主播(bo)(bo)的(de)時(shi)空限(xian)制，能夠與觀眾實(shi)時(shi)互動(dong)，極大地增強了(le)靈活性和(he)參與感(gan)。而動(dong)捕(bu)(bu)技(ji)術(shu)為(wei)(wei)數字(zi)人賦予了(le)更真實(shi)的(de)表現(xian)力。xR虛擬制片、數字(zi)人和(he)動(dong)捕(bu)(bu)技(ji)術(shu)的(de)深度(du)融合(he)，不(bu)僅拓展了(le)創作(zuo)的(de)邊界，還(huan)成為(wei)(wei)驅動(dong)行業發(fa)展的(de)新引擎，重塑了(le)影視、教育、游戲(xi)和(he)直播(bo)(bo)等(deng)多(duo)個行業。

　　市場(chang)預測顯示，到2025年，全球xR市場(chang)規模將突破(po)千億美金。隨著(zhu)這(zhe)些技術的(de)應用，影視、教育、游(you)戲(xi)和直播等多(duo)領(ling)域(yu)的(de)創作流(liu)程(cheng)更(geng)加高效、經濟，也為觀眾帶來(lai)了前所未有(you)的(de)沉(chen)浸(jin)式體驗。

　　通(tong)過整合xR虛擬(ni)(ni)(ni)制片、數字人和(he)(he)動作捕捉(zhuo)技術，深工為(wei)品牌(pai)和(he)(he)創作者(zhe)提供(gong)了(le)(le)更(geng)為(wei)靈(ling)活的(de)創作工具(ju)，使他們能夠在虛擬(ni)(ni)(ni)環境(jing)中實現(xian)更(geng)具(ju)表(biao)現(xian)力(li)和(he)(he)互(hu)動性的(de)內容(rong), 成功(gong)實現(xian)了(le)(le)虛擬(ni)(ni)(ni)與現(xian)實的(de)深度融(rong)合。同時，這(zhe)種技術解(jie)決方(fang)案(an)不僅能滿(man)足影(ying)視、游戲和(he)(he)直播等領域的(de)多樣需求，還為(wei)商業展示和(he)(he)品牌(pai)營銷帶(dai)來了(le)(le)新的(de)創新模(mo)式(shi)和(he)(he)無限可能性。

技術核心：虛擬制片與數字人結合

　　用(yong)(yong)戶(hu)采用(yong)(yong)基(ji)于UE5引擎的xR虛擬(ni)制片技(ji)術(shu)，通過將虛擬(ni)場景與(yu)數字人結合，創造(zao)出更加(jia)逼真、互動的沉浸式體驗。數字人(Metahuman)技(ji)術(shu)由(you)UE5官(guan)方(fang)早(zao)在UE4階(jie)段開發，允許創作者打造(zao)高度(du)真實的虛擬(ni)人類角色。用(yong)(yong)戶(hu)在此基(ji)礎上進行深(shen)度(du)定制與(yu)優化，增加(jia)了和數字人互動的可能性，實現了與(yu)虛擬(ni)制片的完(wan)美(mei)融合。

　　UE5提供了一套(tao)在(zai)線的數(shu)字人創建(jian)(jian)工具(ju)(Metahuman )。通(tong)過注冊(ce)Epic賬(zhang)號(hao)并(bing)申請使(shi)用(yong)(yong)即(ji)可(ke)立刻開始體(ti)驗。這套(tao)工具(ju)允許(xu)用(yong)(yong)戶從預設角色(se)(se)中(zhong)進(jin)行選(xuan)擇(ze)并(bing)直接創建(jian)(jian)，不僅支持(chi)調(diao)節特(te)定部位的尺寸、位置(zhi)或種類，還可(ke)以(yi)(yi)(yi)創建(jian)(jian)或修改毛發、體(ti)型(xing)、膚色(se)(se)以(yi)(yi)(yi)及簡單的服飾。所有通(tong)過這個工具(ju)創建(jian)(jian)的角色(se)(se)都將擁有統一的拓撲結(jie)構、多重LOD以(yi)(yi)(yi)及對應(ying)的綁定資產。用(yong)(yong)戶可(ke)以(yi)(yi)(yi)在(zai)UE5中(zhong)通(tong)過Quixel Bridge快速地從用(yong)(yong)戶的賬(zhang)號(hao)中(zhong)下載用(yong)(yong)戶所創建(jian)(jian)好的數(shu)字人角色(se)(se)，隨后就(jiu)可(ke)以(yi)(yi)(yi)在(zai)場景(jing)中(zhong)對它進(jin)行使(shi)用(yong)(yong)。

　　然而(er)，這(zhe)套工具目(mu)前對亞洲人(ren)物(wu)的(de)支持有限。這(zhe)意味著如果用戶(hu)要使(shi)用UE5官方提供的(de)這(zhe)套工具去(qu)創(chuang)建(jian)一(yi)個亞洲人(ren)的(de)臉型和體型是十分困難的(de)。由此，用戶(hu)在(zai)創(chuang)建(jian)過程中(zhong)開發(fa)了多種解(jie)決方案：

　　1.基于照片生成數字人

　　通過Metahuman進行(xing)快(kuai)速(su)特征點追(zhui)蹤，可以基(ji)于角(jiao)色(se)的正臉(lian)照片生成數字人模型(xing)，但由于側臉(lian)深度(du)和遮擋(dang)物的限制(zhi)，如果面部(bu)有遮擋(dang)，效果會進一(yi)步(bu)降級。因此，這種方(fang)法只適用于簡單的角(jiao)色(se)創(chuang)建。此外，該(gai)方(fang)法需要手動指定或創(chuang)建角(jiao)色(se)的膚色(se)材質貼圖。

　　2. 基于Iphone深度攝像頭的數字人創建

　　使用Live Link Face軟(ruan)件(jian)錄(lu)(lu)制包含人(ren)物(wu)面(mian)部(bu)深(shen)度(du)信(xin)息的視頻，再生(sheng)成精(jing)確的角色模型。該方(fang)法要(yao)求在(zai)布(bu)光(guang)(guang)良(liang)好的環境中進行。面(mian)部(bu)不能有(you)任何(he)過(guo)(guo)曝(pu)、大型陰影或局部(bu)曝(pu)光(guang)(guang)。同時在(zai)錄(lu)(lu)制過(guo)(guo)程(cheng)中，不能將面(mian)部(bu)移開取(qu)景框。用戶一般會錄(lu)(lu)制包含正臉(lian)(lian)、左側臉(lian)(lian)、右側臉(lian)(lian)以(yi)(yi)及齜牙(ya)的視頻。通過(guo)(guo)這個(ge)視頻，可以(yi)(yi)生(sheng)成準(zhun)確包含角色面(mian)部(bu)特征(zheng)以(yi)(yi)及精(jing)確到牙(ya)齒特征(zheng)的模型。該方(fang)法除了不能直接(jie)創建材(cai)質貼圖(tu)外，是(shi)在(zai)兼具速度(du)的情況下(xia)，最(zui)準(zhun)確的一種角色模型生(sheng)成方(fang)式(shi)。

　　3. 基于模型進行數字人的創建

　　如(ru)果用(yong)戶已有(you)外置的(de)模(mo)型(xing)或通過(guo)一組照片生成的(de)模(mo)型(xing)，也可(ke)以將其轉化為數字人。該方法(fa)創建(jian)的(de)模(mo)型(xing)是通過(guo)外部包裹拓(tuo)撲以及特征點的(de)追蹤(zong)進(jin)行生成。只要(yao)拓(tuo)撲結構一致，也可(ke)以將現有(you)的(de)模(mo)型(xing)直接轉化為Metahuman可(ke)以使用(yong)的(de)狀態(tai)。

　　生(sheng)成數(shu)字(zi)人(ren)模(mo)型后，用(yong)戶還(huan)需(xu)要(yao)(yao)檢查動(dong)(dong)畫的(de)正(zheng)確性。例(li)如(ru)，Metahuman在(zai)動(dong)(dong)畫中經常會出(chu)現(xian)諸(zhu)如(ru)眼睛無法(fa)閉合等(deng)細微的(de)問題，這需(xu)要(yao)(yao)對它的(de)blendshape進(jin)行手(shou)動(dong)(dong)修改。用(yong)戶可以使用(yong)數(shu)字(zi)人(ren)創建工(gong)具進(jin)行數(shu)字(zi)人(ren)DNA的(de)創建。

　　DNA是UE5提供的(de)一種數字人頭(tou)部(bu)(bu)數據(ju)存儲的(de)類型(xing)，包含了(le)多種LOD、頭(tou)部(bu)(bu)形狀以及綁定的(de)細節。用戶可(ke)以在Maya中通過(guo)DNA viewer和DNA Calib修改DNA。

DNA Viewer界面

　　DNA viewer允許用戶(hu)讀取對(dui)應的(de)(de)DNA所包(bao)含的(de)(de)數(shu)據(ju)。用戶(hu)對(dui)其修改后(hou)，可以(yi)通過DNA Calib重新注入DNA文(wen)件中，再導入UE5中創建一個(ge)擁有正確動畫的(de)(de)數(shu)字人。

　　而在數字人皮(pi)膚的(de)創建中，除去官方可用的(de)皮(pi)膚，用戶可以(yi)自(zi)己購買或制作高精度的(de)皮(pi)膚紋理貼圖(tu)(tu)，在SP中對其進(jin)行(xing)修改即(ji)可。Metahuman的(de)褶皺也有(you)對應(ying)的(de)貼圖(tu)(tu)去控制產生的(de)效果以(yi)及對應(ying)的(de)渲染材質，這也是需要用戶手動去進(jin)行(xing)修改調試。

　　用(yong)(yong)(yong)戶(hu)可以在(zai)傳統的(de)建模軟件(jian)中(zhong)利用(yong)(yong)(yong)插件(jian)快速地生成(cheng)毛(mao)發。然(ran)而，用(yong)(yong)(yong)戶(hu)無法使用(yong)(yong)(yong)數字人(ren)創建工具(ju)生成(cheng)用(yong)(yong)(yong)戶(hu)想要的(de)準確的(de)毛(mao)發，它只能(neng)提(ti)供預設的(de)毛(mao)發以供用(yong)(yong)(yong)戶(hu)參考。并且，只有(you)手動創建的(de)毛(mao)發才能(neng)更好的(de)貼合數字人(ren)。

　　數字人(ren)的(de)服裝既可以(yi)使(shi)(shi)用例如Style3d，Marvelous designer進(jin)行(xing)制(zhi)作(zuo)，也可以(yi)使(shi)(shi)用傳(chuan)統的(de)雕刻(ke)軟件(jian)進(jin)行(xing)制(zhi)作(zuo)。制(zhi)作(zuo)完成后需要和(he)數字人(ren)的(de)權重進(jin)行(xing)刷取，保證運動的(de)一致性，或使(shi)(shi)用UE5自帶的(de)布料模擬或者其(qi)他布料模擬插(cha)件(jian)進(jin)行(xing)解(jie)算(suan)，以(yi)模擬真(zhen)實布料的(de)質感和(he)運動邏(luo)輯(ji)。

　　到(dao)此為止(zhi)，數字人的調試基本完成。

動捕技術的突破(po)應用(yong)

　　接下來便(bian)進入動(dong)捕(bu)的環節(jie)。

　　數(shu)字(zi)人(ren)的動捕(bu)分為(wei)面(mian)捕(bu)和肢體捕(bu)捉。用(yong)(yong)戶將使(shi)(shi)用(yong)(yong)IPhone的Live link face完(wan)成(cheng)面(mian)捕(bu)，其使(shi)(shi)用(yong)(yong)方(fang)式(shi)分為(wei)Live link(ARKit)以及(ji)Metahuman Animator。前(qian)者(zhe)使(shi)(shi)用(yong)(yong)Iphone提供(gong)的ARKit框架在設備上捕(bu)捉動畫，通過本地網(wang)絡實時(shi)傳輸(shu)到UE5，適(shi)(shi)合直播環(huan)境使(shi)(shi)用(yong)(yong)。后者(zhe)使(shi)(shi)用(yong)(yong)Iphone捕(bu)捉的原始視頻、深度和音頻數(shu)據，在傳輸(shu)到本地后進行解(jie)(jie)算(suan)(suan)，適(shi)(shi)合傳統制片的流程使(shi)(shi)用(yong)(yong)。當錄制解(jie)(jie)算(suan)(suan)的精度的準確(que)性遠(yuan)超實時(shi)傳輸(shu)的精度，并且臉型(xing)越(yue)貼近(jin)數(shu)字(zi)人(ren)，其解(jie)(jie)算(suan)(suan)效(xiao)果會越(yue)好(hao)。如果需要無人(ren)直播的效(xiao)果，可以考慮后者(zhe)。

　　在(zai)肢體捕(bu)捉中，用(yong)(yong)戶(hu)使用(yong)(yong)HTC Tracker配合OpenXR將數據傳遞給UE5。通(tong)過對使用(yong)(yong)者T pose的(de)讀取和(he)(he)校準(zhun)，用(yong)(yong)戶(hu)可以在(zai)不同體型的(de)數字人上使用(yong)(yong)同一位動(dong)捕(bu)演員。用(yong)(yong)戶(hu)通(tong)過對手臂和(he)(he)腿進(jin)行IK綁(bang)定，因(yin)此僅需要6個Tracker即可實現最基(ji)本，最簡單的(de)動(dong)捕(bu)效果。

動(dong)捕效果（左）現場人員（右）

xR虛擬制片與動捕(bu)的結合

　　數字人在和xR虛擬制(zhi)片(pian)的結合有離線和實時的兩(liang)種方(fang)向。

　　1.離線

　　用戶可以將預錄的動畫傳遞給數字人進行使用。這個模式對服務器性能的壓力最(zui)小，適合(he)在(zai)有劇本，有預演(yan)的前提下使用。同時(shi)，此方式能表(biao)現的精度也是最(zui)高(gao)的。

離(li)線計算(suan)下(xia)和(he)本人匹配(pei)的(de)面部(bu)數據(ju)

捕捉(zhuo)完畢的數據替換在其他角色上

　　2.實時

　　用戶可以通過Live Link進行(xing)(xing)實(shi)時動畫(hua)數(shu)據的傳遞，該模式(shi)對(dui)服務器性(xing)能會產生額(e)外壓(ya)力(li)。因此，需要對(dui)場景進行(xing)(xing)額(e)外的優化以支持(chi)數(shu)字人的運(yun)行(xing)(xing)。

　　用戶還可以(yi)使(shi)用AR前景(jing)將數(shu)字(zi)人(ren)(ren)作為前景(jing)融(rong)合(he)到(dao)場(chang)(chang)景(jing)中(zhong)。該方案(an)需要(yao)使(shi)用單獨(du)(du)的服務器進(jin)行(xing)(xing)解(jie)算，從而最大程度上(shang)分離場(chang)(chang)景(jing)渲(xuan)染和數(shu)字(zi)人(ren)(ren)運行(xing)(xing)的壓(ya)力。同(tong)時(shi)，該方案(an)也(ye)可以(yi)單獨(du)(du)用在真實(shi)(shi)場(chang)(chang)景(jing)中(zhong)和現實(shi)(shi)人(ren)(ren)物進(jin)行(xing)(xing)互(hu)動。

　　作為行業(ye)(ye)的(de)創新者，深工一直(zhi)致力于將(jiang)最(zui)前沿的(de)技術(shu)轉化為實際的(de)商業(ye)(ye)價值，將(jiang)xR虛擬制片(pian)、數(shu)字(zi)人和(he)動(dong)捕技術(shu)融合創新，推動(dong)商業(ye)(ye)顯示和(he)傳(chuan)媒行業(ye)(ye)的(de)發(fa)展。未來，我們將(jiang)繼續投身于這些前沿技術(shu)，進一步提(ti)升創作效(xiao)率和(he)互動(dong)體驗，賦能更(geng)多行業(ye)(ye)場景。

　　隨著技(ji)術(shu)的不斷進(jin)化，數(shu)字(zi)化內容創作將迎來(lai)更多顛覆性(xing)的變化。深工愿與更多合作伙伴(ban)一起，共同(tong)探索(suo)和(he)開拓數(shu)字(zi)內容創作的新天(tian)地。