今年VR虛擬實境成為遊戲界的新話題,也有很多一直提到HTC要靠頭戴式VR裝置翻身的報導,隨著各種新聞翻炒,大家對什麼是VR虛擬實境也大多有個概念,但因為它需要特製的素材和裝置,所以可能不是大家都實際看過。

大家有沒有在天文館的球型放映室看過天文奇觀的影片呢?
看VR畫面的體驗就像那個,你會覺得這個影像好像在包圍你身邊一樣,有的遠、有的近,如果有動態,還會有那種直衝著你來,就在你眼前的感覺,比3D還要3D,
如果是賽車遊戲,不是看到賽車朝你疾駛而來要速速閃邊,就是親眼目睹自己撞凹人家的車尾了...
這就是所謂的沈浸式體驗,因為非常有臨場感,也難怪遊戲界那麼看好VR的前景了。



1千元內就可體驗VR


如果想簡單體驗VR,其實並不難,Google在去年的 I/O上,就送給每個在場的開發者一副「Cardboard」,把手機放進Cardboard,開啟VR影片或程式,就可以看到虛擬實境的畫面,而且Google也開放讓廠商自行製作這樣的裝置,目前已經有超過100萬個Cardboard推廣到市場上,我們也可以透過網路買到各種Cardboard裝置了,而且也不貴,加運費900~1000元可以搞定,甚至你要自己動手做,Google官網也有教學。( 如何取得Cardboard請看這裡)

最簡單的Cardboard就是瓦楞紙盒做的(有點像阿楞的頭...),有兩個凸透鏡、一個可當做遙控器的磁鐵,以及一些讓你固定手機的設計,Android手機或iPhone都可以,第二代的Google Cardboard可以放到6吋的手機。







VR內容呢?
就是從固定在Cradboard上的手機來播放。
來源可以從各種VR App、VR遊戲,也可以從YouTube上的360度影片。

VR App們~Google Play和App Store上都可以找到很多,目前市場上有超過1000多個支援Cardboard的程式,最基本的可能是Google街景吧,可以看世界知名景點的立體街景~


前幾週NewYork Times免費發送Cardboard給一些用戶,讓它們可以用來看紐約時報製作的VR影片新聞。


VR影片的話,YouTube上也不少,打VR video搜尋,篩選條件選擇360度,就可以找到很多影片,不過目前只有Android版的YouTube App可以切換到Cardboard模式,iOS的還不支援。
YouTube自己也有一個360度頻道,不過影片數量不及自己搜尋得多。


其實最近在Android上看任何YouTube影片,點擊右上角的memu(點點icon),會發現多了一個Cardboard的icon,點擊後畫面就會被分成左右兩邊,變成VR模式,放進Cardboard盒裡,就可以體驗最基本的VR實境了,但不太建議看一般影片,因為畢竟這些還是2D影片,不是360度影片,觀賞時的立體感會差很多。


建議還是搜尋360度 VR影片,這樣切換到VR模式上,才能看到滿畫面的樣子,可以想像分成左右兩邊以3D視覺來看時,你的上下左右360環繞的地方都會有畫面,如此這個實境才能把你包圍住。



這些畫面可以隨著手機的陀螺儀擺動而移動,於是透過Cardboard看到的VR畫面,就是3D+360+會移動的畫面。如果是遊戲,也可以用轉頭的方式移動畫面上的游標來虛擬點擊操作,所以沒有陀螺儀的手機在VR體驗上就GG了。
我實在有點難把眼睛看到的翻拍給大家看,大家還是用在球型放映室,或在環球影城玩3D過山車、哈利波特的體驗來想像吧~(在想以後這些VR遊戲或裝置,不在賣場多放幾台讓大家體驗不行...)


不過影片解析度的關係,其實現在用手機播放這些VR遊戲或影片時,畫質還不是很好,有的甚至還看得到掃描線,因為畫面左右分開,各自的解析度就減半了,加上目前YouTube最高也只能播放到1080p,即使我用了Z5 Premium這4K螢幕手機來看,有些VR影片畫質還是不好,之後YouTube開放手機上4K串流播放後,可能畫質會有較明顯的改善吧。(再搭配4K手機可能會更好)

雖然看得有點頭暈,但VR真的很好玩,期待之後正式的VR裝置畫質、電力、焦距、音效、重量、靈敏度...這些都要做好,才能讓我們看VR看得更舒服。




3D圖像運算演進


好的,VR正在蓄勢待發,Google在這潮流裡的的角色,其實比較像內容開源者,而不是裝置製造者。
在Google亞洲區的活動裡,負責VR研發的Steve Seitz 博士跟我們說明Google如何一路從做3D影像,進展到VR虛擬實境,又做了哪些應用。

大家都知道Google圖庫裡有很多很多的照片,裡面大家拍了很多世界知名的建築物,或是著名地標,即使拍攝的角度、採光不同,但基本上都是拍同一個東西,這對Google要做3D影像,要發展3D電腦視覺來說,是一個很好的基礎。
一開始Google想要製作羅馬地標的3D影像,他們先讓每個攝影師在不同的角度拍攝,然後用3D影像軟體合成了這些照片,製作出地標的3D影像。

接著Google工程師們想,那能不能做出整個城市的3D影像呢?
於是他們從Google圖庫裡找出非常非常多羅馬城市的照片,各地方各角度的照片,每一個畫素,就是一張照片,他們再一張圖像上用了幾億張羅馬城市的照片,透過3D運算,建立出這個城市的3D影像。

一開始是做固定景象的3D成像,接著他們把腦筋動到「時間」上,我們是不是也能做出時間的3D影像呢?(科學家真是不斷的在想能不能這樣能不能那樣啊~)
所謂時間的3D影像,就是用縮時表現一段時間的變化。
他們以拉斯維加斯為案例,因為拉斯維加斯30年間,從一個空曠的沙漠,變成成高樓林立、奢華輝煌的樣子,變化非常大,很適合用縮時影片來表現時間的推移,但我們不可能回到30年前去架設攝影機,固定時間拍下城市的樣貌,這時候就要利用Google資料庫裡的照片了。

Google資料庫裡也有非常多拉斯維加斯的照片,甚至距今30年前的都有,工程師把這些照片找出來,各種場景角度都有,雖然角度和採光都不同,但都利用電腦視覺運算修正,進而做出拉斯維加斯的蛻變縮時影片。


不光是拉斯維加斯,任何主題,只要有足夠的素材,都可以做出這樣的縮時影片,比方從挪威的冰川的縮時影片,可以看到冰川不斷在融化的過程...Google希望透過這樣的技術,製作出的各種縮時影像,可以幫助科學家們做研究。





Jump計畫幫助製作VR影片


VR虛擬實境,跟製作3D影像也是類似的技術,都有用到電腦視覺運算,VR環境也越來越成熟,包括手機具備了播放VR實境的配備,比方追蹤移動變化的陀螺儀,以及高畫質螢幕。

Google認為VR體驗有一個目標,就是把你帶到一個地方,讓你身歷其境,
我們或許可以看到很立體照片,或360度全景影像,但這些照片影片因為沒有景深,所以不會有遠近的立體感,也不會有身歷其境的感覺(包括聲音),要讓這些360度影像看起來有3D的感覺,播放時必須做到兩個條件:
1. 要是360度的畫面/ 影片、
2. 要透過立體的方式,也就是一個眼睛看一個畫面的方式來製造景深。

所以上面可以最符合VR模式的是360度影片,且播放時分成左右兩邊的樣子。


要完成一個VR體驗,要有觀看的裝置,以及內容,內容可能來自拍攝,也可能來自電腦繪圖;而有了影像之後,還得想辦法把影像變成VR的格式,然後播放出來....
為此Google提出一個Jump計畫,幫助創作者製作VR影像。

觀看裝置部分,前面提到Cardboard是開源的,大家都可以根據Google提出的規範來製作。


但要如何拍攝跟製作VR影片呢?有拍360的影片就好了嗎?
Google一開始也做了一些嘗試,剛開始用兩台單眼旋轉拍攝,但有點危險而且不能紀錄動態,所以後來又拿GoPro相機組出Jump攝影機支架,經過改良,最後Google跟GoPro合作,把這進化成GoPro ODTSSEY這個環狀相機套件。


這是由16台Hero 4組合而成的,兩台為一組,好像人的左眼右眼,共有八組,分別對著不同方位拍攝360度影像。
儘管有16台相機了,但還是有一些拍不到的死角,這時候必須再透過電腦視覺,擬真計算那些缺失的部分,補齊這些影像。
這台相機買得到嗎?目前是開放給業內的專業人士申請,有興趣的可以參考這個網頁。
或者Google也有開放16台相機的設計原始碼,想自己嘗試組裝也行。


有360度影像了,怎麼VR化呢?
GoPro ODTSSEY相機拍好的影像,得再經過運算把它們拼接在一起,但若放大照片看,會發現有些拼接的地方有些模糊,這時候就得出動3D影像技術,根據不同的景深做校正,插入上千張照片,創造1000個不同視覺角度的景象,於是當我們看VR時,不管轉到哪個角度,都能看到有景深、連續的立體影像。

這一整套運算技術稱為「Assembler」,由於資料量大,電腦得要有很強大的運算能力,拍攝一個小時的影片,若靠單機運算,得花一個月的時間才能組合成VR的格式,這樣太花時間了,於是Google利用他們的雲端運算,使用者把GoPro ODTSSEY拍好的影像,上傳到Google資料中心,那裡就有成千上萬部電腦在做運算,大大縮短製作的時間。
這技術也是開放的,所以創作者可以透過Google雲端來運算影片。


VR影片做好了,需要特殊的播放器嗎?
其實只要透過YouTube,就可以播放VR影片了(遊戲應該有另外的作法,但Google沒有分享到這一塊)。
Google上週也發佈了VR Video的頻道,可以搜尋到VR影片,目前先在Android的YouTube App,之後再開放iOS的。






VR不只有遊戲


好像大家講到VR,首先想到就是可以玩虛擬實境的遊戲,其實Google之前成立了一個Expeditions教育計畫,把Cardboard帶入校園,讓學生觀賞虛擬實境,更能清楚接收老師教授的內容。學生手上都有一台教學手機,老師可以用平板遙控教學手機播放的內容,而學生則利用Cardboard,一邊看教學手機上的VR畫面,一邊聽老師講解。比方教到海洋生物課時,就可以讓學生用Cardboard看到大堡礁的虛擬實境。


另外前面也提到,紐約時報發送Cardboard給他們的用戶,紐約時報也推出一個VR新聞的App可供瀏覽,Google預計再跟紐約時報合作,分發Cardboard給他們100萬以上的訂戶後,市場上Cardboard的數量會大幅提升到200萬個。




Google經常在做開源的事情,Jump這個計畫就是裝置,連同內容製作,都提供一套方法,讓更多人可以參與,做出更多VR內容,如此這些虛擬實境的裝置才有價值。
製作VR影片看來還有一些門檻,比方需要特殊的拍攝器材,也需要藉助Google雲端來運算,但觀賞VR相對就簡單多了,有個Cardboard,有台支援陀螺儀的手機就行了。
看VR是什麼感覺? 文字描述的畫面遠不及自己親臨的那刻來得生動,有機會,有興趣,試試吧! Cardboard就很有趣了,之後推出專用頭戴式VR裝置,體驗相信會更好。