【GTC2021】NVIDIA 發表 GANverse3D 深度學習引擎能自動將『霹靂車』平面影像轉換成可動的 3D 模型

陳拔 · 2021-04-19T09:55:43+08:00

透過一張照片，就能自動算出經典『霹靂車』的 3D 影像。機器學習／深度學習目前很大一部分的應用都在進行電腦影像／視覺的處理上，而除了內容識別、畫質提升外，現在技術更近一步，只要收集分析一張平面影像，就能將基本的 2D 照片轉化成 3D 物件。NVIDIA 在今年的 GTC 2021 大會中，就發表了一款全新的深度學習引擎 GANverse3D，能將平面影像建構成 3D 模型，並且在虛擬環境中進行視覺化的呈現與控制，還還原了 1980 年代熱門影集『霹靂遊俠』中的『霹靂車』！NVIDIA Research 在 GTC2021 大會中發表了 GANverse3D 深度學習引擎，利用生成對抗網路（GAN），對同一物件的多重視角影像進行合成訓練（例如汽車模型，是以 55000 張影像進行訓練）。接著將分析資訊插入製作 3D 影像的渲染框架中，來打造出 3D 網格模型，而在經過訓練之後，GANverse3D 甚至可以僅靠一張相片，就能預測出一個 3D 網格模型，這個模型還可以搭配 3D 神經網路渲染器，讓開發人員進行控制，或是更換背景等操作。原始影像（右）與 GANverse3D 打造出的 3D 物件效果（左）而 GANverse3D 在於以往在進行 3D 物件操作模擬時，都需要先進行 3D 建模作業，但 3D 建模通常都要花費相當多的時間以及預算進行建模與渲染的工作，透過在 NVIDIA Omniverse 上運作的 GANverse3D 應用程式，建築師、創作者、遊戲設計師就能夠以平面影像轉化成 3D 物件，並且加入即時光線追蹤來達到更真實的模擬效果。NVIDIA AI Research Lab 並且在 GTC 2021 中展示了以 GANverse3D 繪製出來的 1980 年代熱門電影影集《霹靂遊俠》主角：KITT 的 3D 模型，僅需透過一張影集中的影像，就能夠將 KITT 的 3D 模型繪製出來，並且具有頭燈、尾燈、方向燈的設計（還有特色招牌的紅色閃爍 LED 燈），雖然仍與人手建模在細緻度上面仍有不小差距，但對僅需要利用 3D 模型進行搭配操作的工作，這樣的效果已經相當夠用了。以下是介紹的影片：