【教學新知分享：虛擬製作發展的過去、現在、未來（下）】（撰文：邱子杭）
叄、虛擬製作與混合實境
然而對比虛擬場景即時綠幕的系統原理，當校正出合理的透視空間時，虛擬場景同樣也可以當動畫影像當做前景空間，在即時合成系統中輸出成背景有動畫場景，前景有動畫物件的效果。但這種業界稱為混合實境或MR (mixed reality)的影像效果在The Mandalorian 拍攝時的系統流程其實是有困難的，原因在於：
1.即時計算的背景是LED牆體成像的超巨大影像，因此額外要輸出的前景如天空環境延伸都需要額外的計算力。
2.原本Unreal Engine的功能模組並未納入即時合成模組compusure，因此最好是透過單獨一台工作站同步開啟合成模組作業。
3.攝影機追蹤為求自由運鏡與大捕捉體積，無延時捕捉精度尚不符合MR需求。
在2019年的時間點，The Mandalorian (2019)利用這個技術得到巨大的成功，但這個技術與演唱會常用的LED影像背景搭配即時前景動畫的MR效果，實際上在系統架構有非常大的差異。以攝影機追蹤技術來說，The Volumn這一類型的大型LED攝影棚通常搭配的是光學動作捕捉攝影機，這種系統透過安裝多台價格高昂的紅外線高速攝影機環繞攝影棚拍攝，以捕捉體積（volumatric capture）範圍內為可拍攝，可運鏡空間。以世新大學智能攝製基地為例，整個LED舞台區共有20台Optitrack Prime 22高速攝影機進行動作捕捉，因此在將近12x12x5m的體積都可是有效捕捉範圍。由於InCam VFX搭配LED的技術僅要求即時的機位動作捕捉數值，並不苛求鏡頭變形校正，焦平面推估，或即時變焦對焦資訊等等在MR必須獲得的條件，因此拍攝上多機或其他物件的追蹤只需要安裝反光球標記就可執行。
世新大學「LVS智能攝製基地」內景，圖為拍攝俄羅斯冬夜雪景
對於MR的專案執行，P. Cairns（2022）等人的經驗分享可以理解其中的技術差異，是詳細的工作流程論文參考。以台灣或韓國藝人在演唱會的MR應用為例，可以歸納出幾點差異：
1.採用Mosys或RedSpy追蹤系統進行機位動作捕捉。
2.校正單一顆攝影機與變焦鏡頭的組合，無法換鏡頭。
3.動畫成像可透過Unreal Engine搭配Mosys或RedSpy的外掛運算出已即時合成的影像，或可透過Disguise進行即時場景延伸。
這裡提到的Mosys或RedSpy追蹤系統，是將單一一台動作捕捉高速紅外線攝影機安裝在電影攝影機旁邊，原理非常接近前述BBC的方案，是透過單台動作捕捉攝影機即時辨識天花板或地毯的高反射標記推估機位，並由同步加設在攝影機上的陀螺儀與電腦求得最準確的位移與旋轉值。可想而知，這個方案由於需要長時間精密校正，同時系統設備繁雜，因此操作上多將電影攝影機，變焦鏡頭，無線追焦系統，動作捕捉攝影機與電腦完全安裝在一起無法拆開，並仰賴大型三角盤或搖臂進行機位移動。同時天花板或地毯的高反射標記的安置與校正也需要時間執行。
簡單來說，演唱會應用的MR工作流程與電視台虛擬場景的作業更為接近，都是為了得到流暢的即時效果，必須多做更多工夫確保系統穩定性與動作捕捉正確性。實際上Mosys或RedSpy追蹤系統可以追到比多機環繞的動作捕捉準，但犧牲了電影拍攝的運鏡彈性，往往是現在串流平台欲建立的電視電影美學所無法接受的。也因此The Volumn這一類型的大型LED攝影棚所傾向的多機環繞的動作捕捉系統，便是為了能達到拍攝時電影攝影機可以不用做複雜繁瑣的校正，只要大概知道機位可看到的視野面積。此外，像The Mandalorian實際上需要的環境建構鏡頭並非直接拍攝LED所呈現的背景，而是去背、挖除、合成等等的場景延伸工序，真實會入鏡的背景多半是光學散景的模糊影像，鏡頭也以半身中鏡到特寫為主，全身帶美術陳設的地板多半也需要在後期處理前後景光感不一致的問題。
另外一個視覺上MR與inCam VFX最可直觀的差異之處，就是LED直接入鏡的處理方式不同。以韓團OH MY GIRL在2020年參與的MBC XR Concert On the Move演唱會活動，可以看出演唱會與電視電影之不同。在這個活動OH MY GIRL成員在一個具有牆面及地板的雙LED舞台表演，並透過Disguise xR系統進行場景延伸與前後景物件成像。在表演中影片可明顯看出LED燈珠與掃瞄線毫無避諱的清晰呈現，並與遠景場景延伸，由Disguise xR合成出的畫面有明顯的畫質不一致。簡單來說，由於演唱會使用的攝影機希望有較深的景深，甚至全焦點。再者，歌手在LED舞台的運動範圍難與牆面保持適當距離，因此技術上難以用電影攝影機淺景深的手法造成背景模糊，同時快門語感光元件構造也難以確保機位運度時不拍出LED掃瞄線。這種視覺特徵正巧是強調沉浸感與自然真實的電影手法所亟欲避免的。
肆、混合實境與虛擬製作的未來發展
因此在這裡我們發現了虛擬製作與混合實境兩種看似接近的技術，因為拍攝美學的不同在可預期的未來漸行漸遠。譬如說現在有些小規模的LED表演舞台嘗試使用高階PTZ（pan-tilt-zoom）攝影機拍攝，一方面這些攝影機的畫質接近電視攝影機，二方面高階PTZ攝影機可直接傳送遙控對焦、擺動、變焦數值給遊戲引擎，這樣省去了複雜又有諸多變數的攝影機即時追蹤問題，甚至可以達到在固定機位執行機械手臂動作控制motion control的可能，卻遠比電影級器材少將近十分之一的成本，可以說是近年來電視台希望在最小投入規模，與最少人才訓練的考量下的理想方案。
另一方面回到The Mandalorian 中大受讚賞的真實性與電影感，其實是因為演員的表演範圍只佔碩大棚體的中心，LED直接呈現的背景都在鏡頭的光學特性下有著自然的失焦，也就是這些模糊造成了前景演員深度上的真實感。此外，在The Mandalorian 之後的LED攝影棚就算是都能承接InCam VFX與MR拍攝業務，也了解到在寫實性的追求上，必須體悟到物理上LED牆體對攝影機來說，就是個5-10m外的一堵牆，它不會因為畫面呈現真實動畫場景，攝影機就必然會拍出栩栩如生的場景延伸。
必須認知到的是在現場人眼看到的LED畫面都是直射光的呈現，而不是真實美術道具的反射影像。人眼與攝影機所看到的畫面，又因為瞳孔視網膜與光圈感光元件迥異，在亮度階段曲線非常不同，常常是現場好看，但攝影機的暗部死黑，高光過曝。更重要的是先期投入建置的LED影像處理卻正巧是為了人眼覺得好看而研發，因此在Gamma值的設定，LED影像處理與遊戲引擎設定難以匹配。
在Oliver James等人（2021）與M. Kavakli 等人（2022）所發表的論文之中，便總結了當下第一線技術團隊在實作嘗試下總結的心得感想。譬如前述LED是種發光體的特質，造成實際拍攝因為同一場景色彩計畫的不同，很可能背景物件的顏色造成同一顆鏡頭光是走位，游移在場景不同處就造成白平衡錯亂，而現場燈光器材的協助與光質營造，甚至會比實境拍攝更為關鍵。目前Unreal Engine的開發公司Epic Games跟一起開發InCam VFX技術的公司Lux Machina，一同與Sony制定了新的Venice電影機外掛程式，以確保電影攝影機在拍攝端，LED處理器端，以及Unreal Engine的即時動畫成像端有一致又科學的色彩校正依據。然而對於電視電影在虛擬製作上的運用核心，還是認知到這些技術僅僅是工具與技術存在，它與綠幕去背或美術陳設都是電影敘事美學的一種工具，或許虛擬致左也有其美學特徵，再處理夜景霓虹燈閃爍，車拍高反射外景，或其他光線互動性高的場合有其優勢，然而所有技術的自然性與視覺美感，都會回到電影美學在時間與序列影像的構成中，才能將光與反射的變化造成符號意義。簡言之，電影工具使用的良莠還是回到導演功課如何在了解技術能達成哪些優勢？避免哪些劣勢？才能發揮並進化如虛擬製作這種工具技術在應用層面的發展可能性。
參考資料
● Hough, Gregory (2015) Towards achieving convincing live interaction in a mixed reality environment for television studios. Doctoral thesis, Birmingham City University.
● M. Kavakli and C. Cremona, “The Virtual Production Studio Concept – An Emerging Game Changer in Filmmaking,” 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Christchurch, New Zealand, 2022, pp. 29-37
● P. Cairns, A. Hunt, J. Cooper, D. Johnston, B. Lee, H. Daffern, and G. Kearney, “Recording Music in the Metaverse: A case study of XR BBC Maida Vale Recording Studios,” Paper 12, (2022 August.).
● Oliver James, Rémi Achard, James Bird, Sean Cooper. Colour-Managed LED Walls for Virtual Production. SIGGRAPH 2021 Talks July 2021 Article No.: 19 Pages 1–2