11月3日-4日，2021年騰訊數(shù)字生態(tài)大會在武漢中國光谷科技會展中心舉行。在今年大會的門口，騰訊云用6萬塊積木建起的一個6米高的大logo格外吸睛，成為一個熱門打卡點，而用戶得到的不只是一張靜態(tài)的“游客照”，而是一段可以在終端自由切換觀看角度的視頻，這仿佛在現(xiàn)實生活中打開了王者榮耀的“自由視角”—— 而這個特殊的體驗環(huán)節(jié)背后也是騰訊多媒體實驗室自主研發(fā)的自由視角空間視頻技術(shù)的支撐。

“產(chǎn)業(yè)數(shù)字化對于很多客戶而言是一個理解過于繁復的過程。騰訊云希望像積木一樣實現(xiàn)自由組合，即插即用，助力客戶‘化繁為簡，以小建大’，”積木云項目負責人之一，多媒體實驗室業(yè)務(wù)負責人Jeff告訴36氪，“這也是我們?yōu)槭裁床邉澾@樣一個打卡體驗的原因。自由視角背后原理很復雜，適應(yīng)場景很多元，但這樣一個專屬的個人體驗，能更簡單直接感受自由視角的魅力，也有機會去讓大家暢想它未來更‘大‘的魅力與前景應(yīng)用?！?/strong>

沒有人走過的路

早在2018年，騰訊多媒體實驗室就在騰訊杰出科學家劉杉博士帶領(lǐng)下開始了對沉浸式媒體（包括自由視角、VR/AR等）技術(shù)的研發(fā)工作。作為一個提升用戶沉浸式體驗感的技術(shù)，但最開始，自由視角在國內(nèi)似乎沒什么關(guān)注度。

彼時，VR/AR領(lǐng)域經(jīng)過幾年的熱炒，因為尚無法為用戶帶來較好的沉浸式體驗，熱度驟減，不論是投資機構(gòu)還是科技公司都尚未清晰意識到構(gòu)建沉浸式體驗的價值。2018全年VR/AR領(lǐng)域的融資總額還不及2017年下半年融資數(shù)額的一半。

而相比VR技術(shù)，自由視角在技術(shù)難度上更大了。VR是固定觀察者位置，從中心向四周看，模擬人在特定位置轉(zhuǎn)動頭部的觀察體驗。而自由視角則是相反，是從四周向中心看，即觀察者除了可以通過轉(zhuǎn)動頭部變換視角，還可以變換位置進行視角切換。更多的視角自由度意味著需要更多的數(shù)據(jù)和更復雜的算法，因此自由視角在技術(shù)上更具挑戰(zhàn)性。

在自由視角技術(shù)概念尚處于早期階段，騰訊多媒體實驗室就已經(jīng)發(fā)現(xiàn)了這項技術(shù)背后的巨大潛力，將其作為沉浸式媒體產(chǎn)品線的一部分開始進行研發(fā)。同時，實驗室標準團隊還深度參與了國際自由視角相關(guān)技術(shù)的國際和國內(nèi)標準制定。

2020年，5G技術(shù)開始逐步進入商用階段，5G建設(shè)和應(yīng)用持續(xù)推進，作為新一代的移動通訊技術(shù)，5G在傳輸速率、資源利用率方面相比4G均實現(xiàn)了較大提升。高可靠、低時延的5G技術(shù)滿足了自由視角對網(wǎng)絡(luò)帶寬的要求，輔以顯示技術(shù)的發(fā)展與成熟，自由視角又再次走到了臺前。

經(jīng)過3年的技術(shù)打磨，在2021年的騰訊數(shù)字生態(tài)大會，騰訊多媒體實驗室研發(fā)的端到端自由視角解決方案“閃亮登場”，為頗為火熱的“全真互聯(lián)”概念邁出了實踐性的一步。

《黑客帝國》如何從電影走入現(xiàn)實

相信許多80和90后關(guān)于科幻的最初概念都來自于《黑客帝國》系列電影。電影中由基努·里維斯飾演的主角尼奧在傾身躲子彈時仿佛時間靜止，展現(xiàn)出的360度旋轉(zhuǎn)全景場面過去了20年還是讓人印象深刻。

通過多機位快速連續(xù)捕捉拍攝目標，并對拍攝內(nèi)容進行處理是《黑客帝國》視覺效果總監(jiān)約翰·蓋特首先應(yīng)用的， 2013年火遍全國的韓劇《來自星星的你》中都教授暫停時間時的全景視角應(yīng)用的也是這種方法。而這也是自由視角技術(shù)的最初的原型。

（《黑客帝國》拍攝現(xiàn)場機位設(shè)置，和下圖通過側(cè)滑的形式呈現(xiàn)）

（《來自星星的你》拍攝現(xiàn)場機位設(shè)置，和上圖通過側(cè)滑的形式呈現(xiàn)）

自由視角技術(shù)鏈條較長，大致可以分為圖像數(shù)據(jù)采集、網(wǎng)絡(luò)傳輸、處理分析和客戶端顯示等多個環(huán)節(jié)。由于需要實現(xiàn)實時的視角切換，自由視角在技術(shù)實現(xiàn)難度上比后期制作時間充足的電影拍攝更勝一籌：

現(xiàn)實中的自由視角與王者榮耀等游戲中的自由視角模式最大的不同就在于需要對現(xiàn)實中的圖像進行實時采集。在圖像數(shù)據(jù)采集環(huán)節(jié)，需要圍繞被拍攝物等距離放置攝像裝置，以保證能夠捕捉到拍攝物多角度的圖像信息。由于需要在顯示時實現(xiàn)實時切換，自由視角對攝像終端的同步性要求極高。如果數(shù)十、甚至上百臺的終端設(shè)備傳回的數(shù)據(jù)有時間差，則一個固定時間點上的圖像信息則難以進行整合，為后續(xù)的圖像渲染帶來了巨大的困難，從而不能流暢切換。

在網(wǎng)絡(luò)傳輸環(huán)節(jié)，由于終端設(shè)備的數(shù)量較多、單個設(shè)備采集的數(shù)據(jù)量也較大，保證終端采集的數(shù)據(jù)能夠高質(zhì)量、快速的傳輸?shù)綌?shù)據(jù)處理中心是網(wǎng)絡(luò)傳輸環(huán)節(jié)的最大難點。隨著5G技術(shù)的普及和6G技術(shù)時代的即將到來，自由視角在網(wǎng)絡(luò)傳輸環(huán)節(jié)的難點正在逐漸被克服。

“面對超長的技術(shù)鏈條和眾多關(guān)鍵節(jié)點的技術(shù)難題，騰訊多媒體實驗室選擇了端到端、從編解碼器到上層實現(xiàn)的純自研解決方案，以保障用戶在應(yīng)用自由視角技術(shù)時的完整順滑體驗?！倍嗝襟w實驗室專家介紹。

從采集、傳輸，到云端處理、拼接畫面，再到圖像渲染、顯示，騰訊均實現(xiàn)了技術(shù)突破，全流程保證了自由視角的體驗質(zhì)量。在畫面采集與傳輸流程，該解決方案通過算法高效保證了攝像頭信號的高效同步；在畫面處理和渲染環(huán)節(jié)，騰訊多媒體實驗室花費了較大的努力，對鏡頭間的畫面畸變進行校準和優(yōu)化，并利用深度學習自動的對多幅畫面進行校準和匹配、拼接。結(jié)合視角預測、預加載優(yōu)化等多種算法，該解決方案實現(xiàn)了多視角的實時切換。同時，針對不同的應(yīng)用場景，騰訊的自由視角解決方案提供了不同的特異性優(yōu)化算法，使得個性化場景下的處理效果更優(yōu)；在顯示方面，騰訊自研的播放器也可以為自由視角提供助力，多項技術(shù)結(jié)合，為用戶提供低延時、高畫質(zhì)的視頻觀看體驗。

隨著未來硬件技術(shù)的進一步發(fā)展和迭代，騰訊將持續(xù)將更低成本、端到端的自由視角技術(shù)推向賽事直播、演唱會、活動直播、在線教學等各種側(cè)重臨場感和沉浸感的場景，讓沉浸式體驗走入生活，從而給從游戲、影視制作、社交、多人協(xié)作等各個領(lǐng)域帶來全新改變和更深遠的影響。

“元宇宙”很遠，全真互聯(lián)在當下

雖然今年“元宇宙”的熱潮似乎概念大過實質(zhì)，但追求沉浸式的“全真互聯(lián)”技術(shù)卻是共識的未來互聯(lián)網(wǎng)技術(shù)的發(fā)展方向。馬化騰在2020年底為騰訊年度特刊《三觀》撰寫的前言中，就提到了“全真互聯(lián)網(wǎng)”的概念。

在未來，隨著人們對于更沉浸、更自由的“全真”觀看體驗的需求不斷增加，自由視角技術(shù)將成為很多場景中的首選甚至是必選。如在線上演唱會場景中，自由視角可以讓觀眾無需出門，即獲得比vip座位更接近舞臺、比在現(xiàn)場座位更自由的觀看角度，將大大提升觀看體驗，降低觀眾參與和欣賞表演的成本，實現(xiàn)千里之外，猶如身臨其境，實現(xiàn)對舞臺更還原、立體、忠實的影音記錄。

在向“全真互聯(lián)”時代邁進時，騰訊作為國內(nèi)音視頻領(lǐng)域的領(lǐng)導者，也一直走在沉浸式相關(guān)技術(shù)的研究前沿，穩(wěn)步前行。騰訊多媒體實驗室專家們在支持產(chǎn)品研發(fā)的同時，也積極參與20余項多媒體領(lǐng)域國際和國內(nèi)標準制定，目前已有已有超過 500項專利技術(shù)被多個國際標準采納，為中國企業(yè)贏得了國際聲譽。

當然，自由視角技術(shù)只是騰訊邁向“全真互聯(lián)”一小步。在未來，騰訊多媒體實驗室將能不斷進行技術(shù)優(yōu)化迭代，推動“自由視角”和其他提升用戶體驗感的沉浸式多媒體技術(shù)的創(chuàng)新，并提出更好的解決方案，促進“全真互聯(lián)網(wǎng)”在更多應(yīng)用場景下的落地，為用戶、開發(fā)者和合作伙伴提供更有效的服務(wù)和支持。