隨著元宇宙概念的興起,如何不斷優化數字人模擬真人情感和行為細節成為行業重點研究課題。近日,由馬上消費金融股份有限公司(下稱“馬上消費”)主辦的2022屆“天馬杯”全國高校科技創新大賽中的2D數字人驅動、3D數字人驅動兩大賽道將為提升元宇宙情感體驗提供了更多可能。
據悉,2D數字人驅動賽道的賽題為“語音驅動數字人口型生成”,為了讓數字人可能基于對文本語音的理解,有更真實的表情和口型表現力;3D數字人驅動賽道聚焦“視頻驅動人臉生成”,為了通過視覺面部捕捉技術實時驅動數字人的面部,讓數字人能真實還原真人表情,旨在通過賽題研究逐步探索讓數字人表情更加豐富、細膩,口型與表達內容更加吻合的新路徑。
針對兩大賽題,馬上消費將分別提供真人錄制的音畫同步短視頻、真人錄制的人臉短視頻,以及相對應的參數供大賽參賽隊伍使用,然后再將參賽結果與原始視頻進行對比,差距越小得分可能就越高,進入決賽的可能性也就越大。
自元宇宙概念大熱后,隨之而來的是潮水般涌現的各種數字人,從時尚娛樂到文化商業,數字人全面開花,依托差異化特質在各類細分賽道中大顯身手。如以靜態渲染圖片為主的時尚類數字人AYAYI,虛擬偶像初音未來、絆愛等歌舞類數字人等。而元宇宙世界對表情和口型提出了更高的要求,十分需要虛擬人“動起來”。
“天馬杯”大賽設置兩大賽道均聚焦視覺捕捉技術,是以新興的計算機視覺技術為底層技術,較光學捕捉、慣性捕捉而言更簡單易用、成本更低,加之PBR渲染技術還可以支撐虛擬人實時互動。作為人機交互的重要組成部分,表情和口型驅動已廣泛用于游戲、電影、人機對話、虛擬主播;而面部、手勢、肢體動作的視覺捕捉則可以大大降低普通人驅動數字人的門檻。
一直以來,馬上消費持續探索科技前沿,在推動數字人產業發展方面具有先發優勢。依托技術、人才、場景等優勢,馬上消費打造了數字人創作平臺,通過輸入文本就可以快速自動生成十分逼真的數字人說話視頻;研發了實時交互數字人平臺,具有形象配置、數字人動作、表情及話術配置、真人驅動等功能,帶給用戶更暖心的服務體驗。
無論是從國家政策還是前沿技術發展趨勢來看,元宇宙和數字人賽道將成為眾多機構必爭之地,前景廣闊。這一重要時刻你也將有機會見證,還在等什么,趕緊加入“天馬杯”大賽吧。