【教學新知】數媒系邱子杭老師:「虛擬製作發展的過去、現在、未來」(中)

【教學新知分享:虛擬製作發展的過去、現在、未來(中)】(撰文:邱子杭)

貳、綠幕去背與虛擬製作

Simon Gibbs(1998) 是另外一篇2000年前解釋虛擬攝影棚該怎麼做的論文,到現在為止所有需要注意的問題完全沒有變,當時會碰到的問題現在一樣會發生。簡言之,無論哪個年代的技術,除了上述時間上的同步難題,希望用綠幕去背的方案做動畫場景延伸,就必須要面對如何求取正確攝影機空間運動,並且將這個3D資訊匯回電腦算圖。

比如說2010年左右壹電視開台,便標榜新聞台攝影棚使用虛擬場景(Virtual Sets)技術,新聞一開始的運鏡讓女主播好像站在空曠的科幻空間,其實都會是經過事先計畫的運鏡,所以即便這些虛擬場景技術標榜可以即時捕捉攝影機運動,在電視台的應用仍是盡量在完全控制的環境,包含3D背景成像的計算承載,攝影棚燈光與即時去背參數,甚至主播的穿搭妝髮都是在標準作業流程中被規範,其實就是基於像Popkin (1997)的技術分享。

世新大學全媒體大樓3F 融媒體新聞教學專區

 

世新大學全媒體大樓4F 虛擬棚

 

當然相較於電視台一切依照標準流程的慣習,電影當然不遵循電視為了即時播出做的種種限制,因此綠幕去背與場景延伸幾乎是後期製作的基本工,為了還原合理細節,一切都交給電腦動畫與合成逐格細調。舉例來說,2019年電影John Wick: Chapter 3 – Parabellum其中的大橋機車追逐戰,就有大量武打鏡頭在棚內以全綠幕拍攝。這樣高危險性的動作戲使用綠背是一個很正常的選擇,但安全性的替代就逼需以後其的辛勞與費用為代價,因此電視台不需要的超高寫實算圖,拒絕的光線閃爍與明暗對比,合成工序繁瑣的高反射安全帽物件,以及去背困難的動態模糊,在電影後製的世界是必須克服的挑戰。

John Wick: Chapter 3 出現的安全帽反射其實後期會花相當大的精神處理,因為表面其實一直會看到橋與環境的反射,這個全部需要在3D動畫中先推估攝影機鏡頭運動,再推估每顆安全帽的位移以算出表面的反射,最後需要合成師敏銳的觀察與耐心,逐格貼回畫面中實拍的安全帽。後期的痛苦在於這些工夫一個環節失手就會讓觀眾發現不真實,但費盡心思做好反而必須讓觀眾毫無知覺有這樣的特效存在,實際上這些努力也跟敘事毫無關連,單純是修穿幫以建構最大的自然性。

所以特效鏡頭既要像電視台應用那樣具備即時捕捉彈性與可靠穩定,又需要像電影應用追求最高的自然寫實與細節,好萊塢邊開始思考可否利用遊戲引擎來處理真實可信的3D影像,同時可即時成像,並且透過高流明投影機或大型LED牆直接成為背景逛縣照明或反射,至少節省後期額外處理高反射汽車,玻璃,或安全帽等等費工又不得不做的工序。因此2018年Disney決定開拍The Mandalorian (2019)時,用極短的時間搭建了一個名為The Volumn的大型LED攝影棚,同時結合遊戲引擎公司Unreal Engine的技術,創造了可即時為星際大戰人物閃亮盔甲提供環境影像的拍攝流程。

事實上The Volumn與Unreal Engine工作流程最突破性的技術,包含了以下步驟:
1.透過遊戲引擎即時計算3D場景與光影,並可在現場依劇組需求調整。
2.利用多台工作站電腦計算同樣的專案檔,並同步拼合成投放在LED牆體的巨大影像。
3.在主機所做的調整可同步呼叫所有工作站即時執行相同的調整,因此雖然影像是靠獨立多台工作站計算,都可在不停機狀態邊投放邊修改。
4.利用計算即時攝影機跟蹤得來的位移資訊,透過InCam VFX的技術計算電影攝影機看得到的椎狀投影範圍,甚至不需要綠幕方案的超穩定攝影機追蹤串流。

這裡面最值得一提的是因為LED就是顯示3D動畫背景,因此電影攝影機看到的是符合透視的椎狀投影背景影像,不需要像綠幕去背完要達成時間上同步,空間上透視吻合的困難條件,因此InCam VFX搭配LED牆面實際上對現場拍攝少了對時間與空間的嚴苛精準需求,也因此既可以像電視作業那樣即時跟蹤機位與修改虛擬場景,也可以像電影需求一樣追求最大的拍攝彈性與最高的畫質與細節。

參考資料
● Hough, Gregory (2015) Towards achieving convincing live interaction in a mixed reality environment for television studios. Doctoral thesis, Birmingham City University.

● Simon Gibbs. Guest Editor’s introduction: Virtual studios. IEEE MultiMedia, 5(1):17, January/. March 1998.