[分享] MACHINIMA動態捕捉 + FA507XI硬體測試

之前已經有大致介紹過NVIDIA的Omniverse平台，在平面與3D之間，想要做完美的整合，除了要了解許多設計工具之外，實際接觸的經驗也會改變對兩者之間的看法。先前文章裡面已經對於AI所需要的硬體部份做過介紹，不過大部分人在學習創作之時，都是先由平面開始，行有餘力才會往3D方面發展。以往3D設計的門檻相對較高，除了軟體的單價不便宜之外，硬體設備的需求更是超乎想像，一般人即使具備平面的美感，但跨入3D世界時，常會受限於預算與軟硬體經驗，無法完整呈現自己的創意，這個對於設計層面而言真的是相當可惜的事情。

以往沒有AI的時候，想要接觸3D設計，只能透過昂貴的軟硬體跟環境來做，像是專用的捕捉用服裝跟大型場地等等：



現在有了AI分析，這一切都變得相對簡單，只要透過NVIDIA的Omniverse平台，有一套名為「MACHINIMA」的軟體，可以透過筆電、網路攝影機，以及GPU與AI的運算，即可完成相當複雜的即時動態捕捉，對於初學入門者而言可以省去非常大量的成本，進而對3D世界有更多的認識，對於教育跟學習都有不少幫助。在AI開始流行的現在，不管是工作、還是學校學習，能夠提早接觸AI的話，可以用相對低的成本、相對少的時間，去學習許多以往投注大量資源才能獲得的技能。以創作來說，平面設計也許很快就會被AI大量取代繁複的工作（去背、修圖等等），但是如果能掌握AI的技巧，多利用不同工具，平面跟3D之間的技能差距，其實已經大幅度拉近，AI其實也能輔助學生，讓學生學習的更快更好、更有競爭力，在現今少子化的世代，更容易有出頭天的機會。

稍微講遠了，若今年家中小朋友有要上廣電電影學系所、大眾傳播系所、視覺傳達系所、工業設計系所、商業設計系所的家長們，可以多留意這些變化，以下來介紹一下這套MACHINIMA軟體。

目標：透過Omniverse，下載MACHINIMA軟體，在裡面試用一下動態捕捉的功能。

先安裝Omniverse

安裝完Omniverse之後，首頁會出現一堆新聞，沒事可以看看，內容都還可以。


點選「交易所」，然後找到MACHINIMA的圖示。


找到「Omniverse MACHINIMA BETA」。


依照提示安裝，大概5GB左右，很快就下載完畢了。


點選右上角啟動，就可以進入MACHINIMA的操作環境。


進入MACHINIMA主畫面

MACHINIMA跟一般的3D軟體很像，大致上有操作區、剪輯區、物件選項、物件資料庫等等。


從底下物件資料庫抓一個女性機器人物件到操作區，就可以看到右邊有整個操作區內物件的選項可供調整，一般來說右邊會出現一整排環境的選項，不過為了測試，不加上複雜的背景，單純只放機器人的骨架。


在右邊的「Pose Estimation」就是動態捕捉的功能，點進去分頁之後，可以看到此功能支援即時攝影機以及影片來源的捕捉，只要在此指定骨架，就可以用網路攝影機或是影片直接做動態捕捉。


在RETARGETING（指向目標）的部份我們選擇剛剛的女性機器人骨架。


出現驚嘆號訊息，此處要重新選擇，才能指向正確的骨架位置。


選取到正確的骨架之後，會看到機器人身上出現選取的橘色線條，這時候就可以開始執行動態捕捉了。


如果選擇影片來源，MACHINIMA裡面已經有放了實驗用的小短片，只要按下「START ENGINE（開啟引擎）」，再按下「Calibrate（校準）」，MACHINIMA就會自動分析影片內人類活動的骨架，然後套用到模型上，精度也可以調整：


以往在電影、遊戲製作影片中看到動態捕捉功能，這時就會即時呈現在MACHINIMA裡面，透過GPU運算AI分析影片裡面人類骨架的運作，整個流暢度非常高，軟體裡面也會顯示即時的系統資源跟FPS狀態：


從影片裡面可以看到影片即時運算的情況，順暢度蠻高的：
https://streamable.com/dedk7r

MACHINIMA也支援錄影功能，影片部份錄好的可以直接變成片段，方便後續剪輯使用：


實際串流網路攝影機來玩動態捕捉

一般筆電雖然有網路攝影機，不過都是做成前鏡頭，單純要測試動態捕捉功能的話不太方便，現在手機有一些已經支援網路攝影機功能，下面照片是Google Pixel 8 Pro + TUF FA507XI，透過這種方式也能做動態捕捉：


過程也是一樣，只是影像來源改成選取「Stream Live Camera」，手機鏡頭只要能被Windows辨識，就可以作為來源輸入。底下就請我家妹妹來當作Model示範一下：


架設好手機（當攝影機用）、開啟MACHINIMA、把模型拉到畫面上，然後依照下面流程：
選Pose Estimation → 選擇Stream Live Camera → 指定（Retargeting）好模型位置（要確認有打勾）→ 按下Start Engine（啟動動態捕捉引擎）→ 按下「Calibrate」，畫面就會看到骨架開始動作了：

雙手交叉、雙手舉高，都可以看到模型會即時對應，粉色框就是偵測人體範圍，四肢、頭部、甚至手指都在偵測範圍內，實際可以看一下影片運作：

https://streamable.com/3y8pxj

雖然場地只是家中餐廳的一個角落，背景複雜稍微，還是透過鏡頭，MACHINIMA可以正確辨識人體的軀幹，即時模型運作也非常快速。

如最前面所說，以往要熟悉平面或3D的幾套大軟體，要花費許多時間理解原理跟操作細節。透過使用現成的工具，有興趣的人，不管是國高中的小朋友，或是已經在職場的大人，都可以透過這些軟體，用相對低廉的成本來接觸新的事物。以往要做動態捕捉，可能需要一個固定場地、搭配特殊服裝，再加上大量的攝影鏡頭、電腦、後製等等，透過上述的MACHINIMA，除了上面demo的流程之外，其實它還有許多選項、物件可供細部調整，也可以整合不同軟體製作的3D資料，如果用的純熟，真的有無窮的想像空間，就看使用者如何發揮自己的創意了。

以上給對這方面有興趣的大朋友、小朋友參考。