（CWW）在元宇宙概念推動下，虛擬數字人市場迅速升溫。從虛擬歌手洛天依，到數字虛擬偶像柳夜熙，再到虛擬偶像組合A-SOUL，各種虛擬數字人頻繁出現在公眾視野。什么是虛擬數字人？虛擬數字人有什么能力？應用場景有哪些？

(資料圖片)

元宇宙數字化身——虛擬數字人

2021年被稱為元宇宙元年，隨著Facebook更名為Meta，正式轉型為元宇宙公司，元宇宙已經徹底出圈，成為人們茶余飯后的談論熱點。那元宇宙是什么呢？《頭號玩家》就是對元宇宙概念的終極想象。在元宇宙的宏大構想中，每個人都能在虛擬世界中擁有自己的專屬身份，成為個人在元宇宙中的數字化身，而虛擬數字人技術有助于打造真實的數字形象，使元宇宙中各種類型的沉浸式互動體驗成為可能。

圖1 元宇宙沉浸體驗

虛擬數字人是通過聚合多種技術手段，創造出具有數字化外形的虛擬人物。它具有三個特點：①虛擬：存在于非物理世界；②數字：依托于多種數字技術的綜合產物；③人：在外觀、行為以及交互等方面具有高度擬人化。

虛擬數字人成功地打開了人類進入虛擬世界的通道，是與元宇宙連接和互動的重要媒介，通過對數字形象的專屬化設定，并憑借其完美與多元場景結合的能力，能夠實現從現實社會到虛擬世界的有效投射，使每個用戶都能感受極具沉浸性和互動性的體驗，最終形成數字社會的生態化反映。

2022年作為元宇宙發展的黃金時代的開端，各大廠商針對虛擬數字人產業的精準布局，是推動元宇宙進一步發展的重要利器，這也預示著虛擬數字人技術已經逐步成為元宇宙不斷完善和突破的著力點。

虛擬數字人通用系統框架

虛擬數字人通用系統框架包含五個部分：人物形象、語音生成模塊、動畫生成模塊、音視頻合成顯示模塊以及可拓展的交互模塊。根據數字人外形風格的差異可以將人物形象劃分為卡通、寫實等，這是數字人的基礎載體，語音和動畫生成的主體，展現為數字人3D模型。其中交互模塊為可拓展項，若具備該模塊，則數字人能夠智能識別用戶意圖，進而通過智能決策系統對數字人后續的語音與動作進行指導，從而使數字人具備交互能力。

圖2 虛擬數字人通用系統框架

驅動能力——讓虛擬數字人動起來

虛擬數字人是如何做到與真人一樣動起來的呢？首先簡單了解一下虛擬數字人制作的關鍵流程：首先需要建立并綁定虛擬數字人的標準三維人物模型；然后利用驅動技術對標準三維模型的語音表達、面部表情、身體動作等進行合成；最后通過渲染形成最終效果。

因此，通過驅動技術能夠生成虛擬數字人的擬人化行為，使虛擬數字人生動地動起來。按照驅動技術的差異可以將其分為計算驅動型和真人驅動型[1]。

? 計算驅動型

也被稱為TTSA（Text To Speech & Animation）人物模型：主要通過深度學習技術、卷積神經網絡等新型計算能力對虛擬數字人的語音、表情及動作等進行預測，根據計算結果驅動數字人模型，以生成相應的動畫。由于虛擬數字人天生需要具有高度擬人化的特征，除了外觀要求高度擬人化以外，在行為互動上也需要具備高度擬人化，具體來說包括：①在發音流暢度、韻律以及情感等方面需要符合真人發聲習慣，②能準確識別用戶需求，③能正確高效地理解用戶的需求。因此，其驅動最終效果受到語音合成、語音識別以及自然語言處理等多種技術的共同影響。

計算驅動型數字人技術流程如下：設計形象—>建模及綁定—>訓練驅動模型—>內容制作—>渲染生成

1. 形象設計：每個數字人都是獨特的數字形象，而非千篇一律的模板。通常利用多方位攝像頭對特定模特進行掃描，并采集其說話、動作時的唇部、表情、肌肉變化、姿態等數據，用于模型的特質化訓練。

2. 形象建模及綁定：建立虛擬數字人的三維模型，并根據不同驅動標準分別對各部分進行綁定，后續可以通過相應的規則對各部分進行驅動。

3. 訓練驅動模型：利用深度學習技術對采集的模特動作數據進行訓練，建立語音、唇形、表情、動作參數間的映射關系，形成各自的驅動模型與驅動方式。驅動模型的性能直接影響數字人的驅動效果，因此訓練驅動模型是整個計算驅動型數字人的核心部分。

4. 內容制作：基于輸入的語音或文本形態信息，通過訓練好的驅動模型輸出對應的各類映射參數，利用映射參數驅動虛擬數字人響應相應的動作，實現智能驅動的效果。

5. 渲染生成：在特定場景下進行渲染，生成具有真實感的三維場景效果。

數字人計算驅動方式具有多樣化的特點，例如根據語音驅動口型的算法所使用模型的差異，可以將其分為兩種類型：①Audio2Mesh：通過語音直接預測三維模型網格序列信息，直接形成數字人動畫，代表算法有英偉達的Audio2Face項目，目前已應用于英偉達虛擬協作模擬平臺Omniverse的Audio2Face應用程序中。②Audio2ExpressionCoefficient：利用語音預測能夠控制網格變化的相關參數序列，通過該參數可以恢復網格模型序列，從而生成數字人動畫，代表算法有Facegood的Audio2Face項目，這是國內首個開源語音驅動口型的算法技術。

? 真人驅動型

主要是通過真人演員（二次元世界中也稱為中之人）驅動數字人，在這種模式下虛擬數字人的語言、表情及動作等展現都與中之人的表現所對應，中之人通過佩戴面部捕捉、動作捕捉等設備實時獲取面部、動作參數，并傳遞給對應的數字人進行相對應的口型、表情與動作驅動。由于真人驅動型數字人是通過真人傳遞操作，因此在動作靈活度和互動效果等方面有著明顯的優勢，被廣泛應用于影視內容創作以及互動直播等領域。

真人驅動型數字人技術流程如下：形象設計—>建模及綁定—>表情動作捕捉—>實時驅動—>渲染生成

圖3 真人驅動的虛擬數字人

虛擬數字人的應用場景

根據虛擬數字人應用需求的不同，目前可以將業內虛擬數字人大致劃分為服務型虛擬數字人和身份型虛擬數字人兩類[2]。

服務型

顧名思義，服務型虛擬數字人的能力重點在于服務，根據應用場景的不同提供具有差異化的定制化服務，主要用于代替服務行業中具有重復屬性的社會角色，執行偏標準化的工作，例如數字員工、虛擬客服、定制管家、醫療顧問等。目前國內的服務型虛擬數字人主要用于代替真人進行內容生產，并進行簡單問答交互等。未來發展趨勢是打造更具關懷度的助手等，利用多模態技術對用戶進行關心、陪伴等。

由央視網和百度攜手打造的央視網虛擬小編小C是服務型虛擬數字人的成功典范。2021年全國兩會期間，小C首次亮相于央視網特別策劃“兩會C+真探”系列直播節目，并成為其當家主持。憑借其甜美親切的形象、自然流暢的談吐以及生動逼真的表情動作迅速得到網友的認可，并在全國兩會期間采訪了多名全國人大代表，專業能力毋容置疑。數字小編小C俏皮可愛的展現形式悄然拉近了兩會與普通觀眾之間的距離，同時在新興技術能力的加持之下致使傳統媒體煥發出新的生命力，大大提升了在年輕受眾群體中的影響力。

身份型

身份型虛擬數字人則更傾向于打造全新虛擬IP形象，即強調其自身身份，關注其人設背景等方面，通常應用于文娛游戲等領域，例如虛擬偶像、數字人直播、虛擬分身等。身份型虛擬數字人強調自身身份，通常存在兩種形式：一種是以獨立的虛擬個體存在的虛擬IP，其在現實世界中不對應任何真人，外貌、人設、愛好、背景等都由人為主觀設定；另一種是虛擬世界的數字分身，主要是為每個人創造專屬的數字分身，滿足個人在虛擬世界中獨特的身份需求。

抖音大紅人柳夜熙就是身份型數字人的現象級代表，作為一名會捉妖的虛擬美妝達人，她利用神奇的化妝筆為影片中的小男孩打開了虛擬世界的大門，文案“現在，我看到的世界，你也能看到了。”也預示著這一位神秘的美妝達人來自不同的世界，卻能以虛擬人之身與真人進行互動，并共享互相眼中的世界，從而實現真實與虛擬的交織融合，這難道不正是元宇宙所暢想的終極世界嗎？

結語

虛擬數字人正處于飛速發展階段，融合了計算機圖形學、圖形渲染、動作捕捉等數字技術，同時擁有計算機視覺、自然語言處理、智能語音等深度學習技術的加持，虛擬數字人的前景令人無比欣喜。但目前由于智能驅動技術等方面的技術限制，還未能實現理想中生動的虛擬數字人目標，仍需廣大虛擬數字人從業者、人工智能研究者等多領域工作者共同努力。