撰文 : 教學資源組 張愷哲
數位新媒體時代的來臨，世新大學持續並積極地全面性發展「全媒體教育」，2019年「全媒體大樓」正式啟用，提供一個激發學生學習動力，與產業界先端科技接軌的數位整合環境。本文介紹的是位於全媒體大樓八樓的「動作捕捉虛擬攝影棚」(Motion Capture Virtual Studio)。
八樓的虛擬攝影棚，除了綠幕之外，其中的核心便是動作捕捉系統。動作捕捉是一種將真人或實物的動作數位化並導入電腦的技術。借助此技術，可在影像製作中使用建模生成的3D角色，重現更逼真、更人性化的動作。此技術已廣泛應用於電影、動畫和遊戲創作中。
全媒體大樓主要配置了兩種動作捕捉系統，分別是「光學式動作捕捉系統」(Optitrack)及「電磁式便攜動作捕捉系統」(Mocopi)。並且都可以配合不同的電磁式動作捕捉手套(MANUS Quantum Mocap Metagloves與ROKOKO Smartglove)，再加上臉部表情捕捉系統(Faceware)或iPhone APP (LiveLink Face)等捕捉臉部表情，來增加手指的細節動作及角色的臉部演出。
(圖一)多設備協同工作狀態下的著裝
首先，Optitrack是攝影棚內最主要的系統，以其優異的捕捉精度而聞名。使用的是被動式標記點，這些標記附著在被捕捉的物體或人體上，攝影機捕捉這些標記的運動，紀錄物體或人體的運動軌跡。配合專用軟體Motive進行動作資訊的錄製以及即時串流。
(圖二) Optitrack 動態捕捉(張愷哲攝)
光學式動作捕捉需要在攝影棚安裝很多攝影機，並要求演員穿著緊身全身套裝，身上附有很多標記。相比之下，Mocopi只需使用六個小型輕便的感測器，即可進行動作捕捉。配合專用APP，可輕鬆將身著便裝的人物動作數位化（無論在室內、室外或任何地方），並將動作應用到3D角色中。但相對的精確度就沒有到達影視動畫級別，卻有較高的靈活性，可以使用在小型的直播活動，甚至是戶外演出。未來能夠擴充到兩組串接，進一步的提升精確度。
(圖三)Mocopi動態捕捉(張愷哲攝)
手指的動作因為較為細小，Optitrack標記點容易混淆，Mocopi則沒有感應器，因此需要另外的手套專門捕捉手指的動態資訊。依照系統配置電磁式動作捕捉手套(MANUS Quantum Mocap Metagloves與ROKOKO Smartglove)，來根據使用需求做搭配。
(圖四)動作捕捉手套
臉部表情部分使用Faceware頭戴式攝影機系統，可以即時或是利用影片預錄捕捉，並能輸出超過 60 種臉部混合形狀 (blendshapes)，串聯至遊戲引擎或3D軟體，與身體捕捉做結合。另一種較為簡單的是利用iPhone的原深感測鏡頭(TrueDepth)與增強現實開發平台(ARkit)，更可以配合不同的APP在不同的平台上使用。
(圖五)Faceware捕捉臉部(張愷哲攝)
(圖六)iPhone捕捉臉部(張愷哲攝)
作為虛擬攝影棚，得益於動作捕捉設備，將標記點設置在攝影機上，就能夠實現虛擬攝影機與實體攝影機的連動。使用Ultimatte 12實時合成處理器，便能夠達到即時合成虛擬場景及運鏡的預覽效果。
(圖七)即時合成拍攝(張愷哲攝)
目前除了數媒系的「動作捕捉與編輯科技」課程之外，有更多的跨領域課程如廣電系的「互動式多媒體」及「肢體律動」課程都在嘗試結合這項技術，也有與業界接軌的工作坊及產學合作在試驗跨領域的可能性。期待教師學生發現更多創新的結合方式，產出多元有趣的影像作品!
(圖八)與製片公司產學合作利用動作捕捉與虛擬攝影系統進行攝影前置預覽(張愷哲攝)
教學發展中心「教學新知」長期邀稿：
「教學新知」邀稿文章，圖文內容不拘，建議在1,500字以內。內容亦可運用附圖或相關超連結，來提供相關引註資料。來信賜稿請寄至教發中心E-mail：ctld@mail.shu.edu.tw。稿件若經採用，將刊登至教學發展中心網頁（https://reurl.cc/9vKAbY），並寄發至全校教師電子郵件。