
這次SONY新的XZ1及XZ1 Compact上,新增了一個「3D即時掃描」的功能,我們在發表現場看過了是怎麼掃描3D頭像,也看過掃出來的3D頭像可以作成立體人偶分享。
不過拿到手機實際操作,惡搞朋友之後,感覺還是不太一樣,而且要掃好,其實要經過練習。
3D掃描儀並不是新的技術,也一直有一些外掛的在手機或平板上的3D掃描配件,但不是體積大,就是售價高,這裡SONY開發的技術是:
一是把這技術輕巧的放進手機,並且用原本的,而且是一顆鏡頭,就可以辨認物件跟背景的區別,繪出表面輪廓建立模型。
二是把整個使用過程,包括拍攝的步驟 ,還有拍完之後可以在哪裡運用...等,一個個整合在一起,讓拍攝3D模型變得簡單,處理速度也快一點,而且原始的obj檔,以及轉換成的gif及mp4檔,都是通用的格式,讓人人都可以,也願意把身邊的東西拍成3D,加工、分享。
因為是要給一般人用的,所以現在看到的應用都比較好笑,重視趣味跟分享。
這功能目前會內建在XZ1及XZ1 Compact上,之後也會更新到XZ Premium上,至於XZs,因為3D掃描還是很需要效能支持,因此不會更新到採用Snapdragon 820的XZs上。
先來看這功能的內容,至於為什麼SONY要做這件事,後面來說~
影片裡可以看到這功能提供四種模式,雖說有四種,但拍攝方法、訣竅跟注意事項都大同小異,自己覺得最重要的就是不要急,慢慢走,手機拿穩一定,保持住水平位置跟大小一致。
其實除了拍攝方法外,現場環境更重要,包括影片裡提到的:
~光線要充足均勻以免拍出來的人臉色一半是黑的、
~要有可繞著走的空間,拍攝過程中若畫面忽大忽小,或是歪斜了,很可能建出恰吉臉的模型(就像裡面說的,看起來很像顏面傷殘...Orz)


另外還有影片裡沒提到的
~背景不要太亂,東西上避免大片反光、不要有鏡子,眼鏡要拿掉,透明眼鏡會影響表面距離偵測的準確度。
拍攝3D模型會經過三個過程:校準、雕塑、上材質。
前面繞著拍,就是校準的過程,利用相機輸入跟加速度計,在物體上建立點雲(Point Cloud,畫面上那些密集的小白點),再連接雕塑出表面形狀(綠色覆蓋那段),再覆蓋上表面材質、紋理(皮膚、頭髮),軟體在計算的畫面看起來好有科技感


這可以拍多大的東西呢?
其實比較有關係的是拍攝的距離,要把大的東西都拍進去,距離勢必要遠一些,比方前方的一台車子,雖然建得出形體,但可能細節不會太清楚,因此工程師建議最佳距離大約在1公尺以內或左右。
拍好的3D模型就是一個obj檔,就是可以直接拿去3D列印的檔案,但畢竟3D列印不是生活東就可以取得的,大家會最常用到的,還是編輯、分享,或是做成AR人偶拍照這些。
影片裡看到可以編輯3D模型,調整亮度、變形、變瘦這些都還簡單,裁切可能有點難度,因為它不能選取細部範圍,只能一大塊一大塊裁切,所以得轉轉模型,把背景一塊塊切掉,單指滑是固定中心旋轉,雙指則可以任意方向移動,以及放大縮小,這個也需要摸一下才會熟悉。


編輯好之後就可以分享了。
影片裡示範了做AR人像,雖然要做很久,但真的蠻有趣的,爸媽可以惡搞小朋友

試拍同事的照片~


後來拍成的影片~
或者可以下載「Shadow」這個第三方App,它有一些趣味的動畫模版,可以把拍好的3D頭像套上去,自動做出一些奇怪的影片或動畫,因為也是通用的格式(mp4、gif),所以可以到處分享到處貼圖

個人覺得這灑錢動畫太豪邁了~幾罷昏!


如果不想搞怪,只想好好呈現這個物件,或是也可以把掃好的模型上傳到Sketchfab,這是個讓人存放跟編輯obj 3D物件的網站(要註冊),上傳後會產生一個可以分享的網址,透過這網址,電腦或手機都可以瀏覽到你的3D模型。比方剛掃的兩個東西,點擊縮圖可以去看掃出來的3D模型效果。這網站也可以看到3D物件的解析度,我也不是很懂這算不算高解析了,希望有研究的人可以幫說明...(點擊可外連看原圖


IFA展上也看到工作人員把自己的頭像3D列印出來。(印出來真的很像,但在想這個以後要擺在哪裡才是...XD)

▌為了3D溝通作準備
我不知道這次SONY會不會辦街頭體驗,覺得新鮮的話,可以去玩玩看。但是,為什麼SONY突然要做這功能呢?
Xperia手機上的功能,多半可以從SONY的其他產品上找到脈絡,比方相機技術來自相機部門,音效技術來自Walkman...等,但3D掃描沒有什麼前兆的就冒了出來...
我們在IFA發表會後,訪問到Sony mobile 資深產品企劃經理木山陽介,聊到這個問題。

為何會出現3D掃描這功能?是因為SONY認為3D溝通的時代即將來臨。
比方Facebook之前提出的Facebook Space VR聊天室、也有一些開發商做出了VR聊天室這類的遊戲,而PS VR雖然沒有VR Avatar聊天室,不過最近的更新後讓玩家可於VR模式中進行播送時亦會顯示觀眾的留言,未來會有越來越多在VR環境裡,或用VR方式聊天的服務出現。
其實不止VR,蘋果ARKit、Google推出AR Code,微軟有HoloLens,在這些大廠的推波助瀾下,AR,或是混合實境,都會變得更普及,人手一機就可以玩上很多種AR應用。

這些服務都需要3D頭像或物件,若讓手機很容易就能拍出通用的3D內容,那麼使用者就更容易進入這些功能,SONY認為不久的將來,會有越來越多3D的溝通跟娛樂出現,因此在手機裡導入這項功能。
現在看來是在手機裡玩玩AR人偶,趣味分享,但拍3D頭像跟物件的用途不僅僅是這樣,在SONY的設想裡,甚至未來若是遊戲支援,也可以把自己的頭像做成遊戲人物,放進PlayStation或是HoloLens的遊戲裡。

在會後的Demo區裡,SONY也展示這把自己的頭像放進PS VR遊戲裡的概念作法(這還是概念試做,並不是真有這遊戲了),這感覺很酷...我相信大家會很想把自己放進夏日課程裡


在公司試玩拍同事時,看到成功拍出3D模型後,大家都覺得蠻酷的,接下來就問那可以幹嘛,看到AR搞笑成果也都覺得很新鮮,但看到我有點冗長的拍攝跟製作過程,或是看到圖像的解析度沒有像照片那麼精緻,還是會有一點小冷掉,其實只掃描臉的話就不用太久,而且我相信如果裡面的頭像是你親朋好友,感覺還是會不一樣,希望上面的介紹,有讓大家從一知半解變成多點認識囉。