下一代影視創(chuàng)作風(fēng)口——XR虛擬制片

    XR詞匯的提出，可以追溯到CO Allen于2014年的申請(qǐng)的一份專利《Method for creation ofaugmented reality medium i.e. extended reality medium, involves detectingaugmented reality contents based on determination that reality data correspondsto given acquisition event data》，文中將XR作為AR的別稱進(jìn)行使用，約2年后，一些國(guó)際媒體服務(wù)器廠家開始在市場(chǎng)中嘗試推廣XR的概念。

    XR（Extended Reality）即通過(guò)攝像機(jī)追蹤與實(shí)時(shí)圖像渲染技術(shù)，使顯示介質(zhì)（LED/投影幕）及顯示介質(zhì)外的虛擬場(chǎng)景實(shí)時(shí)跟蹤攝像機(jī)視角，在攝像機(jī)鏡頭前與現(xiàn)實(shí)拍攝畫面合成，從而營(yíng)造出無(wú)限空間感的技術(shù)。

    XR是虛擬現(xiàn)實(shí)（VR），增強(qiáng)現(xiàn)實(shí)（AR）和混合現(xiàn)實(shí)（MR）三種視覺交互技術(shù)的融合，以此帶來(lái)虛擬世界與現(xiàn)實(shí)世界之間無(wú)縫轉(zhuǎn)換的“沉浸感”數(shù)字體驗(yàn)。

    2020年，XR延展技術(shù)的興起使影視行業(yè)出現(xiàn)了全新的變革，基于LED背景墻的LED虛擬制作成為了行業(yè)內(nèi)人士一直討論的熱門話題。XR（Extend Reality）技術(shù)與LED顯示屏結(jié)合，搭建了一座貫通虛擬與現(xiàn)實(shí)的橋梁，在影視虛擬制作領(lǐng)域大放異彩。本文將重點(diǎn)從整體制作流程、集成設(shè)備應(yīng)用、核心優(yōu)勢(shì)等方面深入剖析，為更多影視虛擬化制作項(xiàng)目的成功落地提供參考。

    什么是LED影棚虛擬制作？

    LED影棚虛擬制作是一種綜合的解決方案，工具和途徑。我們將LED虛擬制作定義為“實(shí)時(shí)的數(shù)字化制作”，在實(shí)際使用中，LED虛擬制作可以分為“VP攝影棚”和“XR延展影棚”兩種類型應(yīng)用。

    VP攝影棚

    VP攝影棚是一種新型的影視拍攝方式，更多用于電影、電視劇的拍攝，可以使影視制作人用LED屏取代綠幕，直接在片場(chǎng)顯示實(shí)時(shí)背景和視覺特效。

    VP攝影棚拍攝的優(yōu)勢(shì)可以體現(xiàn)在多個(gè)方面：

    1、攝影空間自由化，可在室內(nèi)影棚內(nèi)完成各種場(chǎng)景的拍攝，無(wú)論是森林草原雪山，都可以使用渲染引擎實(shí)時(shí)創(chuàng)建，大幅度減少取景和拍攝成本。

    2、制片全流程簡(jiǎn)單化，“所見即所得”，在拍攝過(guò)程中制作人可以在屏幕上及時(shí)查看想要的拍攝畫面，場(chǎng)景內(nèi)容和敘事空間皆可實(shí)時(shí)修改、調(diào)整，大幅度提高換景、改景的效率。

    3、表演空間沉浸化，在片場(chǎng)的演員站在實(shí)時(shí)生成場(chǎng)景的XR舞臺(tái)上，可以在沉浸式空間內(nèi)進(jìn)行表演，直接體驗(yàn)，演員表演更真實(shí)、更自然。

    同時(shí)，LED顯示屏的光源為現(xiàn)場(chǎng)提供真實(shí)光影效果與細(xì)膩色彩表現(xiàn)打光，拍攝出的效果更加逼真、完美，極大提升影片整體質(zhì)量。

    4、縮短投資回報(bào)周期，相比起傳統(tǒng)的耗時(shí)耗力的電影拍攝流程，虛擬拍攝制作因?yàn)樾�率高、周期大幅度降低，可更快�?shí)現(xiàn)影片的上映，節(jié)省演員的片酬以及工作人員的支出費(fèi)用，大幅度降低拍攝成本。

    這種基于LED背景墻的電影虛擬制作被認(rèn)為是電影制作方面的巨大發(fā)展，為影視行業(yè)的未來(lái)提供了全新的動(dòng)力。

    XR延展影棚

    XR延展拍攝，是指使用視覺交互技術(shù)，通過(guò)制作服務(wù)器將真實(shí)與虛擬相結(jié)合，利用LED顯示屏打造一個(gè)可人機(jī)交互的虛擬環(huán)境，為觀眾帶來(lái)虛擬世界與現(xiàn)實(shí)世界之間無(wú)縫轉(zhuǎn)換的“沉浸感”。

    XR延展影棚可用于網(wǎng)絡(luò)直播、電視臺(tái)直播、虛擬音樂(lè)會(huì)、虛擬晚會(huì)和廣告拍攝等場(chǎng)景。XR延展影棚拍攝可以將虛擬內(nèi)容擴(kuò)展到LED舞臺(tái)之外，使虛擬和現(xiàn)實(shí)實(shí)時(shí)疊加，增強(qiáng)觀眾的視覺沖擊感和藝術(shù)創(chuàng)意感，讓內(nèi)容創(chuàng)作者在有限的空間創(chuàng)造出無(wú)限可能，盡情追求無(wú)盡的視覺體驗(yàn)。

 

    XR能否取代綠幕一直是個(gè)熱點(diǎn)話題。相較綠幕，XR有一些明顯優(yōu)勢(shì)：

    1、XR實(shí)時(shí)呈現(xiàn)的背景為演員提供臨場(chǎng)感，能夠讓缺乏無(wú)實(shí)物表演經(jīng)驗(yàn)的人們直觀了解當(dāng)下處境，掌握自身走位。

    2、XR使演員表演與表演環(huán)境相結(jié)合的效果及時(shí)呈現(xiàn)，并且更方便創(chuàng)作團(tuán)隊(duì)及時(shí)修改創(chuàng)作想法。

    3、XR能夠節(jié)省掉影視制作過(guò)程中許多花費(fèi)在光線修復(fù)上的時(shí)間和金錢。

    但是xR技術(shù)本身同樣具有局限，如果是基于LED屏幕方案實(shí)現(xiàn)的xR技術(shù)，那么站在LED屏上的演員腳下將沒(méi)有影子，這是xR技術(shù)的一個(gè)較大遺憾。

    LED影棚虛擬制作的工作流程

    在LED影棚虛擬制作中，“VP攝影棚”與“XR延展影棚”的整個(gè)拍攝流程大致相同，分為前期籌備、前期制作、現(xiàn)場(chǎng)制作、后期制作四個(gè)部分。

    VP攝影棚拍攝流程

    VP影視制作與傳統(tǒng)電影制作方法最大的不同在于流程上的變化，最重要的特征是“后期前置化”。VP影視制作將傳統(tǒng)視效影片中的三維資產(chǎn)制作等環(huán)節(jié)移至影片實(shí)際拍攝之前，前期制作的虛擬內(nèi)容可直接用于現(xiàn)場(chǎng)攝影機(jī)內(nèi)視效拍攝，而渲染、合成等后期環(huán)節(jié)移至拍攝現(xiàn)場(chǎng)，合成畫面的實(shí)時(shí)完成，大大減少了后期制作的工作量，提高了制作效率。

    在視頻拍攝前期，視覺特效師需使用實(shí)時(shí)渲染引擎以及虛擬制作系統(tǒng)，創(chuàng)建3D數(shù)字資產(chǎn)。接下來(lái)，利用高顯示性能的無(wú)縫拼接LED顯示屏作為背景墻（通常呈現(xiàn)為環(huán)幕或球幕）在工作室中搭建一個(gè)LED舞臺(tái)，通過(guò)XR虛擬服務(wù)器將前期制作的三維渲染場(chǎng)景載入到LED背景墻上，打造出高畫面質(zhì)量的沉浸式虛擬場(chǎng)景。再采用精確的攝影機(jī)追蹤系統(tǒng)，采用物體位置追蹤與定位技術(shù)對(duì)物體進(jìn)行跟蹤拍攝，最終拍攝完成后，將拍攝到的素材通過(guò)特定協(xié)議（Free-D）傳回到XR虛擬服務(wù)器進(jìn)行查看剪輯。

    XR延展影棚拍攝流程

    XR延展拍攝的步驟與VP影棚拍攝大致相同，但通常在VP攝影棚拍攝中整個(gè)拍攝畫面都是在相機(jī)中捕獲的，而不需要擴(kuò)展。

    而在XR延展影棚中，因?yàn)槠洚嬅嫜诱沟奶厥庑�，在后期制作時(shí)多了對(duì)“背景”畫面進(jìn)行擴(kuò)展的環(huán)節(jié)。在拍攝好的素材回傳至XR虛擬服務(wù)器后，需要再通過(guò)畫面疊加的方法，將場(chǎng)景延展顯示到外錐無(wú)屏區(qū)域，將現(xiàn)實(shí)場(chǎng)景與虛擬位置進(jìn)行融合，實(shí)現(xiàn)更真實(shí)、更加沉浸式的后臺(tái)效果。然后通過(guò)顏色校準(zhǔn)、定位校正、色彩匹配及邊緣過(guò)度等畫面處理技術(shù)，實(shí)現(xiàn)屏內(nèi)外畫面的和諧統(tǒng)一，最終輸出擴(kuò)展后的整體畫面。在導(dǎo)播系統(tǒng)后臺(tái)，就可以看到并輸出完成的虛擬場(chǎng)景。

    在擴(kuò)展現(xiàn)實(shí)的基礎(chǔ)上，XR延展拍攝還可以加入動(dòng)態(tài)捕捉傳感器，實(shí)現(xiàn)AR追蹤的互動(dòng)效果，表演者可以在舞臺(tái)上即時(shí)、無(wú)限制地與三維空間內(nèi)的虛擬元素進(jìn)行交互。

    LED虛擬制作用到的設(shè)備有哪些？

    LED影棚虛擬制作是技術(shù)的融合，所需要的軟硬件設(shè)備有LED顯示屏、虛擬引擎、攝像機(jī)追蹤系統(tǒng)以及虛擬制作系統(tǒng)等。只有通過(guò)這些軟硬件系統(tǒng)的完美集成配合，才可以拍攝出奇幻炫酷的視覺效果，獲得最終的效果。

    XR延展攝影棚的LED顯示屏雖然建設(shè)面積較小，但是在直播中需要低時(shí)延特性提供支持，需要更大的數(shù)據(jù)傳輸與實(shí)時(shí)互動(dòng)，需要性能更強(qiáng)的系統(tǒng)支持即時(shí)的影像處理。

    VP攝影棚L(fēng)ED建設(shè)面積較大，但因不需畫面擴(kuò)展，對(duì)系統(tǒng)的要求相對(duì)較低，但是需要高質(zhì)量畫面拍攝，對(duì)虛擬引擎、攝像機(jī)等其他設(shè)備配置較高，須達(dá)到專業(yè)級(jí)別。

    虛擬制作服務(wù)器

    虛擬制作服務(wù)器是將物理舞臺(tái)與虛擬場(chǎng)景連接起來(lái)的基礎(chǔ)設(shè)施，高度集成LED顯示屏硬件、控制系統(tǒng)、內(nèi)容渲染引擎和攝像頭跟蹤。

    XR虛擬制作服務(wù)器是虛擬拍攝工作流的核心，負(fù)責(zé)接入攝像機(jī)跟蹤系統(tǒng)+虛擬生產(chǎn)內(nèi)容+攝像機(jī)拍攝的實(shí)時(shí)畫面，輸出虛擬內(nèi)容到LED墻，輸出合成的XR視頻畫面給導(dǎo)播臺(tái)，用于直播及存儲(chǔ)。

    最常見的虛擬制作系統(tǒng)有：Disguise、Hecoos。

    渲染引擎

    視頻制作的渲染引擎是各種最新圖形技術(shù)的表現(xiàn)者，渲染引擎應(yīng)用于視頻制作就猶如汽車的引擎，決定著節(jié)目畫面的真實(shí)感、流暢度、吸引力。

    觀眾所看到的畫面、場(chǎng)景、色彩效果等內(nèi)容都是由引擎直接控制的，這些效果的實(shí)現(xiàn)包含了許多渲染技術(shù)：光線追蹤-圖像像素以光的粒子計(jì)算；路徑追蹤-光線反射回視口計(jì)算；光子映射-光源發(fā)射“光子”計(jì)算；光能傳遞-散射表面反射到攝影機(jī)中的照明路徑。

    最常見的渲染引擎有：Unreal Engine、Unity3D、Notch、Maya、3D MAX 。

    攝像機(jī)追蹤系統(tǒng)

    攝影機(jī)定位跟蹤指的是對(duì)真實(shí)空間中攝影機(jī)的位置和姿勢(shì)進(jìn)行跟蹤的過(guò)程。由定位機(jī)、搖臂、攝像機(jī)穩(wěn)定器、云臺(tái)、編碼器、雙目立體視覺機(jī)器等一整套設(shè)備組成。

    拍攝的空間信息被實(shí)時(shí)傳送至渲染引擎，為引擎中的虛擬攝影機(jī)提供真實(shí)攝影機(jī)在三維空間中的位置信息，以及鏡頭參數(shù)信息，包括焦距、焦點(diǎn)和光圈等。依靠實(shí)時(shí)渲染和實(shí)時(shí)摳像與合成技術(shù)，實(shí)現(xiàn)虛擬攝影機(jī)與真實(shí)攝影機(jī)的運(yùn)動(dòng)及構(gòu)圖的同步，使得實(shí)拍畫面與虛擬元素得以實(shí)時(shí)合成。

    攝像機(jī)實(shí)時(shí)動(dòng)態(tài)跟蹤技術(shù)分為三種：網(wǎng)格識(shí)別–基于攝影機(jī)在二維X、Y軸平面的輕微移動(dòng)進(jìn)行實(shí)時(shí)的運(yùn)算的跟蹤方式，無(wú)需改裝攝像機(jī)的跟蹤方式；機(jī)械傳感跟蹤-裝在基座上或三腳架上，提供非常精確的高分辨率的解決方案；紅外跟蹤-通過(guò)紅外和發(fā)射器計(jì)算攝像機(jī)位置。

    最常見的攝像機(jī)追蹤系統(tǒng)有：Mosys、Redspy。

    燈光系統(tǒng)

    在場(chǎng)景已有的自然光源照明不足的前提下，有必要人為地增強(qiáng)場(chǎng)景中的照明，以增強(qiáng)膠片的感光，提高畫面的亮度，對(duì)于空間的建立、氛圍的營(yíng)造有著重要的作用。

    基礎(chǔ)燈光-在LED背景墻提供基礎(chǔ)光照的情況下，仍需要利用燈光設(shè)備補(bǔ)充光照，以彌補(bǔ)背景墻照明窄光譜低顯色、無(wú)方向性、無(wú)硬光的問(wèn)題；補(bǔ)充燈光-LED燈光矩陣+柔光燈彌補(bǔ)背景墻照明窄光譜、低顯色、無(wú)方向性、無(wú)硬光的問(wèn)題；特效燈光-在特定的拍攝場(chǎng)景，根據(jù)場(chǎng)景+劇情需要而臨時(shí)布置的燈光；燈光控制系統(tǒng)-數(shù)控?zé)艄饪梢酝ㄟ^(guò)DMX/Artnet等協(xié)議被虛擬引擎和XR融合系統(tǒng)直接驅(qū)動(dòng)控制。

    常用的燈光系統(tǒng)有：ARRI。

    LED顯示屏

    LED影棚虛擬制作是大屏顯示應(yīng)用的新場(chǎng)景，是LED小間距市場(chǎng)不斷發(fā)展，LED顯示設(shè)備的技術(shù)水平不斷提高而衍生出的新市場(chǎng)。

    與傳統(tǒng)的LED屏幕應(yīng)用相比，虛擬制作的LED顯示屏對(duì)準(zhǔn)確色彩還原，動(dòng)態(tài)高刷新，動(dòng)態(tài)高亮度，動(dòng)態(tài)高對(duì)比度，無(wú)色彩偏移的廣視角、高質(zhì)量畫面顯示等等都有更為嚴(yán)苛的要求。

    抑制摩爾紋

    摩爾紋是LED屏幕在拍照設(shè)備的感光元件上成像時(shí)形成的高頻干擾，會(huì)使圖片出現(xiàn)彩色的條紋。Mini 4合1技術(shù)可以使LED顯示屏達(dá)到80%以上的發(fā)光開口率。

    Mini LED搭配特殊型號(hào)的鏡頭、景深和光圈，可以獲得更廣的調(diào)節(jié)自由度，虛焦程度更低，巧妙避開顯示屏在成片中產(chǎn)生摩爾紋的情況，最終實(shí)現(xiàn)拍攝角度逼真的沉浸式效果。

    低反射

    小的光反射率對(duì)屏幕表面的影響越小，可以實(shí)現(xiàn)更真實(shí)的背景畫面。在Mini小間距屏體表面，燈組之間有獨(dú)特的吸光槽設(shè)計(jì)，以減少光的影響；并且表面采用磨砂啞光工藝，將光線反射率控制在5%以下，拍攝角度可接近180度。輕松應(yīng)對(duì)拍攝現(xiàn)場(chǎng)的各種光線環(huán)境，畫面更干凈，拍攝不易穿幫。

    寬色域高顯指

    色域匹配及轉(zhuǎn)換技術(shù)應(yīng)用，可以真實(shí)、準(zhǔn)確地還原自然界色彩。高顯指CRI，保證色彩均勻性好，可以優(yōu)化各色各波段的連續(xù)光譜，提升顯色指數(shù)。同時(shí)，提高光效，在保證發(fā)光效率前提下，抑制部分藍(lán)光能量，補(bǔ)償紅色（R9）光譜。

    廣視角無(wú)色偏差

    Mini LED產(chǎn)品能夠提供近180°更廣闊的拍攝視角，保證不偏色；24bit處理深度，更好地呈現(xiàn)圖像的層次、細(xì)節(jié)，從任何角度觀察或拍攝，都能呈現(xiàn)到良好的視覺效果。

    低掃描高刷新率

    1/6掃描率和7680Hz的刷新率，Mini LED小間距屏在高刷新下，拍攝畫面穩(wěn)定，無(wú)波紋黑屏，圖像邊緣清晰，準(zhǔn)確還原圖像真實(shí)信息。

    XR制作的好處

    沉浸式與實(shí)時(shí)的制作與編輯流程

    演員或主持人、制片人可以在現(xiàn)場(chǎng)看到虛擬環(huán)境，讓他們可以在現(xiàn)場(chǎng)進(jìn)行表演或拍攝的調(diào)整與指導(dǎo)，減少了后期制作所花費(fèi)的時(shí)間和預(yù)算。簡(jiǎn)單來(lái)說(shuō)就是“后期制作前置化”。此外，虛擬制作解決了外景拍攝的劇組交通成本及環(huán)境等待成本，簡(jiǎn)單來(lái)說(shuō)，你可以無(wú)需踩點(diǎn)等待下雨或夕陽(yáng)落山的時(shí)刻，隨時(shí)復(fù)現(xiàn)和修改所需的環(huán)境。

    真實(shí)的現(xiàn)場(chǎng)交互燈光

    照明由XR現(xiàn)場(chǎng)的LED顯示屏提供，這有助于真實(shí)人物與虛擬環(huán)境的無(wú)縫融合，并減少進(jìn)一步照明調(diào)整的時(shí)間。這點(diǎn)特別適合有高反射的真實(shí)物體拍攝，需要提供真實(shí)的環(huán)境反射信息及光照，而無(wú)需通過(guò)后期合成添加處理。

    沒(méi)有顏色溢出問(wèn)題與摳像合成的困擾

    在傳統(tǒng)綠幕拍攝環(huán)境下，常常需要花費(fèi)大量的時(shí)間進(jìn)行精細(xì)的摳像處理，同時(shí)修補(bǔ)顏色溢出的問(wèn)題，而XR完全不需要摳像，現(xiàn)場(chǎng)直接出鏡頭。

    XR的行業(yè)應(yīng)用

    企業(yè)活動(dòng)

    當(dāng)今公司越來(lái)越多地將XR視為解決遠(yuǎn)距離會(huì)務(wù)問(wèn)題的新方法。虛擬會(huì)議、虛擬報(bào)告會(huì)甚至是產(chǎn)品發(fā)布會(huì)都可以使用XR技術(shù)來(lái)提高參與者的沉浸體驗(yàn)，使他們真切感受到品牌的文化和理念。

    教育

    XR可以讓遠(yuǎn)程教學(xué)中的學(xué)生沉浸在逼真的場(chǎng)景中，讓學(xué)生在模擬的虛擬情境中更好地理解知識(shí)，學(xué)習(xí)知識(shí)，并留下深刻的印象。

    電影

    xR為電影拍攝提供了機(jī)會(huì)，減少了工作人員的旅行時(shí)間和疫情期間的接觸危險(xiǎn)。在后期制作中，LED屏幕可提供比綠色屏幕更快，更輕松和更高質(zhì)量的替代產(chǎn)品，從而縮短了生產(chǎn)周期，并可以實(shí)時(shí)做出更具創(chuàng)造性的視覺決策。

    電視演播

    在演播室環(huán)境中，LED屏幕實(shí)時(shí)提供高分辨率的清晰內(nèi)容和照明，雖然最后都需要用攝影機(jī)進(jìn)行采集，但實(shí)時(shí)呈現(xiàn)的內(nèi)容可以讓主持人更好地與虛擬環(huán)境進(jìn)行交互，而不是像之前一樣進(jìn)行盲猜與踩點(diǎn)。

    版權(quán)聲明：圖文素材來(lái)源ZEEY，如需轉(zhuǎn)載請(qǐng)注明來(lái)源。