今年三支新iPhone及iPad Pro,都搭載了TrueDepth測(原深感測)相機,看來未來這會變成iPhone的標準配備。這TureDepth相機看來很有技術成分,但多數人應該只拿它來臉部解鎖跟認證吧,好玩一點的會拿它錄Amimoji或Memoji,此外好像就沒了。

但是玩過Animoji的,一定對它捕捉臉部表情的生動程度感到驚訝,其實這樣的技術,對製作動畫來說是很方便的工具,台灣的甲尚科技,就用iPhone的TureDepth相機,開發了「LIVE Face」這套App,搭配他們的「CrazyTalk Animator 3」這套2D動畫軟體(以下簡稱CTA 3),就可以靠iPhone捕捉臉部動作,很快做出一段表情很靈活的動畫。在場分享的其中一位遊戲實況主安傑貓說,以往完成一段臉部有動作的動畫可能需要一到兩個小時,但使用這一套工具後,縮短到只要10分鐘。

CrazyTalk Animator 3:在PC及Mac上運作,依照版本不同1690元起,試用期15天,素材包另購。
LIVE Face:支援iPhone X以後機種,免費,但須搭配CrazyTalk Animator 3才有作用,不是獨立使用的App。 


▌10分鐘就學會怎麼用iPhone做出表情動畫

「CrazyTalk Animator 3」本來就是一套給一般人使用的2D動畫軟體,特色是運用彈性運動系統,套用範本後就可以將圖像、標誌等轉變成卡通動畫,也支援匯入PSD檔製作,素材庫裡也有骨架編輯器、臉部操偶跟自動對嘴的功能,用戶也能即見即所得的製作影片。
而搭配有原深感測相機的iPhone,就可以為角色進行即時的臉部動態捕捉。

比方畫面上是一個內建的範本,對著安裝好LIVE Face的iPhone原深感測相機做表情,漫畫人像的眼睛、嘴巴及眉毛、擺頭...等,都可以跟著動作。


回來以內建的模組小試用一下。
在iPhone X、Xs系列、XR上安裝好LIVE Face App,點一下螢幕你的臉上就會佈滿網格,並把手機和電腦連接同一個WiFi,畫面上方會出現一行IP位址。


接著在電腦的CTA 3匯入示範模組,點選左邊工具列裡的「臉部表情捕捉」這功能,它會要求你輸入連接的IP,將App上方那行打進去就好了..


操作介面上方會顯示連接了沒,綠燈就表示連好了,這時候點下預覽,把臉對準iPhone的原深感測相機,就可以看到畫面上的熊表情跟著你在動作,點擊錄影,就可以錄下帶表情變化的動畫,你的口白是什麼,就講什麼,配點五官動作就很生動了。


錄好之後就選擇輸出視訊,這裡以綠底為背景,是因為要拿去疊在其他影片上。


比方我將動畫存成mp4檔,再拿到我慣用的Filmora這套剪輯軟體裡,摳掉綠幕放進我的影片裡,錄製表情動畫的過程真的相當簡單,但以我毫無基礎的人來說,難的是怎麼生出這些素材,以及怎麼把素材變成可以套用表情的模組,這還是得看教學的啊~



▌為何要搭配iPhone的原深感測相機

甲尚科技的產品經理李孟翰跟我們提到,
將臉部辨識套用到製作動畫的軟體很多,但為何要搭配iPhone,是因為原深感測相機為臉部建模中的三個技術,提供很好的解決方案。

三個技術分別是Tracking、Blend Shape及Mapping。

Tracking的是製作表情動畫時,會利用相機掃描臉部的五官、深度、輪廓...等,就是收集臉部資訊,而這些資訊必須要準確、穩定且即時才能作業。市面上很多臉部辨識軟體多半是用RGB Cam一幀一幀(by frame)的方式來收集臉部資訊,但這樣的問題是它不準確,而且製作時需要校正。

第二是Blend Shape, 大多數同學應該不太清楚這是什麼,簡單說就是將物件上一個個的網格變形,表現出想要的形狀組合,想像臉上佈滿了很多細小的網格,要表現微笑的形狀,嘴角那裡的網格們就要做呈現出上揚的變形,而眼角邊的網格們同時也要有下垂的變形...等。這需要透過演算法轉換出表情,

第三Mapping,
有了臉部資訊,也變形出表情了,但要套用上每個角色的特色、才是你想要的創作,尤其2D動畫有的角色需要誇張的,有趣的動作跟表情,這些也需要Mapping的技術來完成,

這三個技術,前兩個部分蘋果已經為開發者做好了,李孟翰提到,iPhone上的TureDepth相機為臉部資訊定位的精準跟穩定度都很高,也不需要校正,對軟體要做Tracking來說非常方便。
另外原深感測相機收集到的資訊/ 文件也很完整,以及ARKit裡有個AR face anchor的模組,這模組裡提供了57條Blend Shape,可以定義很多很多表情,CTA就取用這57條Blend Shape表情,用Mapping的技術,套用到角色上,這讓使用者可以為創作的角色客製表情,CTA裡加上讓使用者調整表情強度的功能,組合起來就可以讓角色的表情很生動豐富。
FaceWare是目前業界製作臉部動畫時,很常用的一套捕捉軟體,但相對iPhone的原深感測相機有隨手可用、設備成本就是手機的費用...等優點。
CTA 3也可以拿一般的照片來做出動畫,跟帶有原深感測相機的裝置結合,可以把CTA 3裡的這三項技術發揮到極致。


▌製作出表情動畫可以做什麼用?

除了單純的製作動畫影片外,甲尚也提到這可以提供給直播主或YouTuber們使用,CTA 3 支援搭配Xsplit、OBS和 FFSplit等直播軟體,比方在CTA 3上製作一個以綠幕為背景的人物,套用在直播軟體上,再搭配iPhone+LIVE Face,就可以在直播影片裡放進一個即時直播中的人偶,就像個虛擬直播主一樣。不過這軟體目前只支援連接一台iPhone,控制一張臉,來無法做到兩個虛擬主播對談。

另開視窗看影片

比方由插畫家跨去變成直播主的大陰盜百貨,某次雞姐對嘴直播的紀錄,就是以這三套工具來完成,不好意思露臉的就可以自創虛擬主播了。


另外CTA 3也可以將做好的動畫,匯出成一般格式的影片,再拿去其他剪輯軟體裡使用。
比方NiNi謝昊霓老師是視覺行銷達人,會透過CrazyTalk創作LINE的動態貼圖,明年預計會推出一本以視覺行銷為主題的書籍,並透過CTA+iPhone的技術來製作教學頻道,動畫中的卡通人物動畫,就是使用CTA+iPhone原深感測相機製作出來的。


YouTube上的UP主安傑貓,頻道裡主要分享很多⟪戰甲神兵Warframe⟫的影片跟遊戲實況,或是直播。透過CTA 3及iPhone,幫助他在短時間內可以為安傑貓這個虛擬人物做出很生動的表情,大幅縮短製作動畫的時間。


又比方Bounce,很多人知道他是知名的街頭塗鴉師,但他也在嘗試將自己創作的人物做成動畫。



▌省時快速容易上手

四位創作者不約而同的感想都是這套工具大大加快製作動畫的速度,而且簡單很容易上手。

(左起:Bounce、大陰盜百貨、安傑貓、NiNi老師)

比方大陰盜百貨就提到,之前要做一則動畫,都要逐格畫圖,非常麻煩(比方一分多鐘的影片要畫一百多張圖),但使用這套工具後,發現只要把模組建好,在軟體裡拉出動作就好了,而且用iPhone的原深感測相機做表情,也很自然,不用畫那麼多臉部表情,速度就會很快。

安傑貓也有類似的感想,他之前是用切換圖片的方式來做動畫,臉部表情也要一格一格做,花費很多時間,搭配iPhone及LIVE Face後,本來要花一兩個小時來做的表情動畫,因為可以套用自己的表情來塑造,搭配錄音,變成不到10分鐘就可以完成,如果要做長一點的談話性影片也方便很多,也因為方便,而且也變得更願意在影片裡多放動畫豐富影片內容。

Bounce提到他的作品大多是靜態的,雖然以前也曾經想過要做動畫,但自己完全沒有做動畫的經驗跟背景,也發現做動畫並不是一件容易的事情,後來接觸CTA 3 之後,從學習到完成上面那個簡單的動畫,只花了一個晚上。動作完成後,還可以用iPhone搭配自己的表情去創作動畫的表情,非常方便。以後可能也可以讓自己的作品動起來做直播互動,作品就可以用更多形式跟大家分享。

現場也請NiNi老師操作一下所謂的方便是怎樣的方便,若要做身體的動作,在軟體裡直接拉動就可以了,若要做表情,搭配iPhone也很快,在做表情時,就可以同步錄成影片,再拿去其他剪輯軟體裡套用。


搭配iPhone原深感測相機後,對有在做動畫的,或是YouTuber們會是一個很棒的工具,事實上也有⟪Walking Dead: Our World⟫的遊戲開發商也利用原深感測相機來打造遊戲角色,也是看中它方便,以及對表情強大而準確的捕捉能力。

其實App Store裡也陸續有一些可搭配原深感測相機來用的App,
比方蘋果自己的⟪Clips⟫的情境功能,就利用原深感測相機抓出前後距離,再利用AR技術套上背景。


⟪SmileFun⟫則是一個偵測表情來玩的遊戲,你要做出跟螢幕上一樣的表情才會過關,玩了一陣子之後覺得臉拉筋拉得很鬆...


⟪Rainbrow⟫是用眉毛來控制笑臉上下,吃星星的遊戲,有點好笑但臉有抽筋的風險。


⟪Anidoodle⟫則是畫上各種眼睛嘴巴的樣子,用原深感測相機偵測真臉表情後,塗鴉臉也會跟著變化,這一樣可以錄影錄音後拿去分享,或放進剪輯影片裡。。



原深感測相機偵測臉部的功能很強大,但應用出現的速度好像不如想像中蓬勃快速,不知道是技術有難度,還是還沒找到可應用的情境。
不過像CTA 3這種動畫軟體搭配原深感測相機後,把本來專業工作室裡才能做到的技術,也移到平民老百姓手上,讓一般人容易取得,也容易學習,也是一個很大的貢獻吧。
期待更多應用可以出現~