隨著 Z 世代的到來，元宇宙概念正在應(yīng)用于多個領(lǐng)域，虛擬主播也開始成為新的表現(xiàn)形式，這里面就包括了快手官方虛擬主播“關(guān)小芳”。這位 23 歲的虛擬主播自首次亮相以來，便憑借著討喜的人設(shè)逐漸成長為快手粉絲喜愛的全能主播。

　　12 月 25 日，快手與 NVIDIA 強(qiáng)勢聯(lián)合，邀請?zhí)摂M主播關(guān)小芳與它背后的 NVIDIA 程序員小姐姐 Alice，與廣大粉絲玩黑科技過圣誕！真人與虛擬主播的完美碰撞，恰逢世界杯剛剛落下帷幕，本場直播還引入了虛擬足球賽，與在線粉絲同頻互動，更有多種魔法表情的玩法挑戰(zhàn)，只為帶給粉絲最好的互動體驗(yàn)。

　　本場直播共有 382 萬人次觀眾參與了本次直播，有效觀看用戶數(shù)達(dá) 435.7 萬，實(shí)時最高在線人數(shù) 3.7 萬。在關(guān)小芳和 Alice 的帶隊(duì)下，粉絲們對于人工智能、加速計算、虛擬數(shù)字技術(shù)有了進(jìn)一步的理解。

　　1、 一場加時球賽點(diǎn)亮2022年的平安夜

　　2022 卡塔爾世界杯為人們奉上了無數(shù)精彩時刻，球迷們除了聚焦綠茵場上的角逐，也在比賽之外感受著濃厚的世界杯氛圍。本次直播就新增了一場加時球賽，讓球迷們過“足”癮。

　　有機(jī)會參賽的粉絲，入場后會自動生成虛擬形象，進(jìn)入到不同的陣營。比賽開始后，奔跑、跳躍的操控非常絲滑，如同身臨其境！更有變大的特效效果，增加了比賽的可玩性，現(xiàn)場感十足。除了真實(shí)感、沉浸感以外，這個球賽最特別的是，每個參與的粉絲都會由于他們不同的活動軌跡而看到不同的場景，實(shí)現(xiàn)虛擬互動“千人千面”的效果。

　　據(jù)悉，直播中展示的小芳圣誕足球賽，是由快手推出的「快手虛擬演播助手（Kuaishou Virtual Studio（KVS）」軟件來實(shí)現(xiàn)的。KVS 可以讓傳統(tǒng)直播間變成“元宇宙直播間”，為智能文娛、虛擬拍攝、直播電商等帶來新的機(jī)遇。KVS 支持主播實(shí)時表情和動作驅(qū)動數(shù)字人，置身精美的 3D 虛擬世界場景中，還支持觀眾化身 avatar 第角進(jìn)一人稱視入“元宇宙直播間”，實(shí)現(xiàn)與主播和其他用戶的個性化沉浸式互動。KVS 具備優(yōu)秀的易用性，可有效提升直播間人氣和消費(fèi)， 更好傳遞品牌價值。

　　在構(gòu)建高品質(zhì)直播畫面的過程中，往往會面臨許多挑戰(zhàn)，這些挑戰(zhàn)在沉浸式的元宇宙足球賽中要求更高。NVIDIA 全棧式 AI 加速平臺可加速和增強(qiáng)直播所需的視頻、圖形。憑借全新的 NVIDIA Ampere 架構(gòu)、更完善的視頻編解碼器、RT Core 核心、Tensor Core 核心、統(tǒng)一的 CUDA 架構(gòu)以及大量 SDK 和軟件工具，為直播各環(huán)節(jié)提供全面支持。

　　在足球賽中，每一個自動走動的形象，以及參與互動用戶自己的獨(dú)特視角實(shí)現(xiàn)，都體現(xiàn)了云端并行渲染能力的支持。NVIDIA CloudXR 是一個在廣域網(wǎng)下助力 XR 內(nèi)容傳輸?shù)脑其秩窘鉀Q方案，可以很好地豐富 XR 內(nèi)容。通過 NVIDIA GPU 的加持，再經(jīng)由網(wǎng)絡(luò)傳輸，可以輕松串流到各個不同的電子設(shè)備上，包括 AR 眼鏡、VR 頭盔等。有了 NVIDIA CloudXR 的編解碼和串流能力，精美的畫質(zhì)，順暢的體驗(yàn)唾手可得。這種模式打破了過往統(tǒng)一畫面的視覺體驗(yàn)，讓觀眾更有參與感，能和主播更接近。在這個過程中，NVIDIA GPU 就像能量池一樣，為直播間源源不斷地提供儲備好的算力能量。

　　2、揭秘關(guān)小芳背后的硬核科技和應(yīng)用場景

　　在本次直播中，最引人矚目的莫過于關(guān)小芳的小伙伴——來自 NVIDIA 的程序員小姐姐 Alice，也是關(guān)小芳背后的開發(fā)人員之一。

　　關(guān)小芳是快手首個基于多模樣 AI 捕捉驅(qū)動能力和實(shí)時真實(shí)感渲染打造的虛擬主播。很多粉絲在體驗(yàn)之余，也不禁好奇：關(guān)小芳是如何實(shí)現(xiàn)與粉絲實(shí)時互動交流的？她背后的技術(shù)又是什么？

　　據(jù) Alice 介紹，數(shù)字人的生產(chǎn)可以拆分成人物建模、人物渲染、人物驅(qū)動和感知交互四個作業(yè)環(huán)節(jié)。完成建模后，會做進(jìn)一步的美化設(shè)計及渲染。最后讓中之人穿上動捕設(shè)備，進(jìn)行實(shí)時的動作表情捕捉，來驅(qū)動虛擬人的活動。

　　NVIDIA 專為 3D 協(xié)作、逼真渲染及仿真打造了 NVIDIA Omniverse平臺。借助Omniverse Avatar Cloud Engine（ACE）引擎能力，能夠加速虛擬人生產(chǎn)的每個作業(yè)環(huán)節(jié)，將虛擬人的創(chuàng)作周期大幅縮短，創(chuàng)建出具備 3D 光追的特性，還能夠和人類實(shí)現(xiàn)交互，并合理理解以及表達(dá)其意圖的數(shù)字人。

　　直播中展示的 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的數(shù)字分身“Toy Jensen”唱圣誕歌的畫面，就展示了最新的語音驅(qū)動面部情緒的算法工具 Audio2Emotion 的最新效果。借助 Audio2Face，Audio2Gesture 以及 Face vid2vid 等算法工具，虛擬數(shù)字人的語音和表情還能得到進(jìn)一步的優(yōu)化和升級，未來將支持關(guān)小芳與粉絲更好地互動交流。

　　在互動中，關(guān)小芳和 Alice 還展示了酷炫的特效、道具以及多款魔法表情，包括快手最新研發(fā)出來的 #張鳳琴這局我贏定了 的新春魔法表情。在該款魔表互動中，關(guān)小芳的好朋友，同樣由快手研發(fā)的虛擬歌手“神奇少女張鳳琴”，與用戶拍攝的虛擬形象坐在炕上打撲克嘮家常，非常喜慶。配合視頻默認(rèn)的聲音臺詞，用戶眨眼、張嘴、抬眉毛、吐舌頭等微表情和細(xì)微動作都能被精準(zhǔn)還原，十分逗趣。

　　在技術(shù)層面，數(shù)字人特效道具的的本質(zhì)是一種數(shù)字資產(chǎn)，基于收集到的動作數(shù)據(jù)/3D 資產(chǎn)等，加上算法模擬和渲染，在 NVIDIA 計算加持下，實(shí)現(xiàn)酷炫的特效和有趣的道具使用。比如關(guān)小芳手持的道具，就是先制作這個美術(shù)資產(chǎn)后，確定好手部和道具的位置關(guān)系，通過按鍵、手勢或其它觸發(fā)方式呈現(xiàn)出來。又比如小芳使用了大哭特效，開發(fā)人員會提前收集小芳大哭的動作數(shù)據(jù)，再加上眼淚的 3D 資產(chǎn)，利用算法將兩者融合起來，形成小芳大哭。又比如小芳非常喜歡的翅膀道具，在這里翅膀是一種 3D 資產(chǎn)，小芳會提前進(jìn)行飛翔的動作模擬，最后用算法融合有飛翔動作的小芳和翅膀，并通過渲染，最終達(dá)到小芳飛翔的效果。

　　直播間特效，則分為 2D 特效和 3D 特效，是先設(shè)計好呈現(xiàn)效果，再進(jìn)行開發(fā)的。相比道具，直播間特效會有一些交互上的考慮，比如人臉表情變化是否產(chǎn)生不同特效，比如特效是否隨時間變化有所變化等。

　　比如，在本次直播中看到的圣誕樹點(diǎn)亮、放煙花等一系列的直播間特效，是得益于 NVIDIA 的 AI 加速計算和低時延渲染加以實(shí)現(xiàn)。以虛擬人和虛擬空間為載體，基于實(shí)時的數(shù)據(jù)，對虛擬物體進(jìn)行實(shí)時的渲染，這種互動玩法的設(shè)計，背后都有它的觸發(fā)機(jī)制，比如圣誕樹點(diǎn)亮，就是當(dāng)點(diǎn)贊數(shù)增加到一定程度就能觸發(fā)點(diǎn)亮這個動作?；? NVIDIA GPU 進(jìn)行的低延時渲染，保證了觀眾都能看到并且參與到這個變化的過程，感受沉浸式互動的樂趣。

　　3、強(qiáng)強(qiáng)聯(lián)合 推動直播形式新元

　　快手作為國民短視頻平臺，與 NVIDIA 打造的本次圣誕專場直播，不僅異于其他直播形式，同時出現(xiàn)眾多直播領(lǐng)域新技術(shù)，新玩法，其中以虛擬互動“千人千面”的技術(shù)最為突出，為粉絲們帶來沉浸感十足的打卡互動體驗(yàn)。此次快手與 NVIDIA 的強(qiáng)強(qiáng)聯(lián)合，不僅能在傳統(tǒng)直播形式的基礎(chǔ)上創(chuàng)新發(fā)展，帶給粉絲們更加新穎的、互動性更強(qiáng)的直播內(nèi)容，同時也能夠激發(fā)科技產(chǎn)品創(chuàng)新能力，為未來打造更加信息化、科技化的產(chǎn)品打下基礎(chǔ)，激活競爭力，誕生更有利的價值?？萍荚从谏睿餐瑫r服務(wù)于生活，相信在雙方團(tuán)隊(duì)的碰撞下，快手將持續(xù)在內(nèi)容理解、視頻特效、數(shù)字人、直播等領(lǐng)域持續(xù)創(chuàng)新，將更多優(yōu)質(zhì)內(nèi)容分享給廣大用戶。