一般可能覺得Snapdragon的晶片組就是用在手機,事實上因為行動類的裝置越來越多,Snapdragon已經不限只能用在手機,但凡需要通訊、影像、感應器運算...等功能的裝置,都可以客製化Snapdragon晶片來運用,如高通目前最高階的Snapdragon 820,並不只會用在手機或平板,包含相機、汽車、VR頭罩,甚至無人攝影機,都可以拿Snapdragon 820依裝置客製化晶片,而且因為運算性能更強,可以實現更多功能。

Snapdragon 820相當強調「沈浸式體驗」,在Snapdragon 820的亞洲首秀活動上,高通無線通訊市場行銷副總裁Tim McDonough針對820為什麼可以做到沈浸式體驗,提出了相當多說明。



高通:Snapdragon 820兼顧影像、聲音品質跟互動性,提供完美VR體驗


一般提到沈浸式體驗,就會想到VR,也的確VR虛擬實境的裝置,將會在2016年大量推出,可以說是明年最受注目的一項新玩意。所謂沈浸式體驗是環繞的、近距離看到聽到影像跟聲音,因此使用者體驗時,會有身歷其境的感覺,就像深入真實環境裡。
高通提到,VR對處理器效能的要求非常高,不只視覺畫面,聲音品質、擬真度、和使用者即時互動性...這些也都要兼顧,都需要很高的效能才能處理這些即時,而且大量的資料,而且視覺、聽覺跟互動這幾個VR要素,只做好一方面也是不夠的,必須三個要素都要到位才行,才能達到沈浸式的體驗,


雖然現在有很多2K的小尺寸螢幕/ 手機,但這對VR來說是不夠的,因為2K的解析度在VR近距離觀看下,還是看得到顆粒,這樣就不夠真實了,所以VR需要更好的畫質,這不僅指更高的解析度,色彩、亮度、對比...等也都要跟真實一樣才行。
未來手機不只會用來顯示VR內容,也會用來產生VR影片或照片,高通提到,他們希望消費者拍攝的照片或影片,可以跟眼睛看到的一樣,而且還要卻確保使用者看到的動態是有遠近、景深、方向感的,除了影像,這也需要音效配合來達成,而且高通希望做到消費者不必用很貴的耳機,也能聽到身歷其境的音效。

有即時反應的互動也很重要,比方在現實中,我們行走跑步時都會上下左右觀看,這時候VR裡的影像、聲音也要跟著移動方,而且要即時,才有真實感,這些即時動態畫面,都要很高的處理效能才能做到,如果處理不好,有延遲抖動,或焦距景深沒有掌握好,就會造成頭暈觀看不適。
另外我們真實移動時,不只視線會變,身體也會晃動,有的VR裝置需要透過控制棒來反應這些身體的互動,但820把相關的元件整合,透過各種集成感應器就能收集數據,丟出相映的反應,盡量讓裝置在沒有多餘工具下,提供身歷其境的體驗,高通認為,這種沈浸式的體驗,為行動處理器設定了一個新的標準,而820可以滿足這方面的要求,包括視覺、音效跟即時互動品質。



視覺:強大的GPU與ISP提供擬真影像


在這篇採訪裡 我們提到Snapdragon 820搭載的Adreno 530圖像處理器,比現有的430效能提升40%,功耗則降低40%,它和Kryo架構,在高通強調的沈浸式體驗裡,扮演了很重要的角色。
現場展示的這個虛擬空間畫面,這不是照片,這全是用UE4引擎繪製出來的畫面,但看起來幾乎可以以假亂真,比方燈光光線的方向、影子深淺...等,床單、椅子、地板、鐵櫃等家具的紋理質感都非常真實,Snapdragon 820的圖像處理效果,可以讓現實虛擬圖像間的界線越來越模糊。(影片中有示範切換間顯示細緻度不同的畫面)


另外就是Snapdragon 820採用的Spectra ISP影像處理晶片,讓手機在低光源,或光線反差大的環境下,拍出更清晰的照片及影片,比Snapdragon 820能提供更高級的HDR功能,將亮部暗部做更好的分配,更接近眼睛看到的樣子,照片HDR現在很普遍了,透過Snapdragon 820的能力,相信在明年旗艦機上也會看到搭載影片HDR的功能。




音效:虛擬多聲道立體聲



如果畫面做得不錯,但聲音仍是兩聲道的話,就會破壞那個真實的感覺,無法提供身歷其境的體驗,高通提到,因為820支援處理聲音的定位,分辨聲音的遠近跟方向,因此可以在手機上提供5.1聲道的環繞立體聲,不只觀看,在錄影時也可以視需要錄下有方向性,或是定向的環境音,而不需要任何的配件,比方錄製街頭訪問時,可能就需要定向收音確保講話的聲音是清楚的,紀錄環境的就需要多向性的收音。



互動:即時辨識影像,即時互動


完成VR沈浸式體驗的最後一步,就是要讓影像跟聲音,隨著我們的動作一起有變化,或做出反應,這點需要一些影像辨識的技術。
包括辨識後追蹤影像,這在手機上首先實現的就是追蹤對焦功能,比方在生活裡,爸媽想拍小朋友在比賽裡的活動,拍攝時得一直去注意有沒有對到焦,這時就變成一直分心在控制機器,沒辦法好好觀看比賽,高通提到,在Snapdragon 820裡可以提供電腦視覺技術,也就是在手機上對準小朋友後,它會自動認得這個物體,然後追蹤對焦,只拍這個目標,Snapdragon 820可以應付這功能所需的運算能力,就能提供一個更方便的拍照錄影功能。


影像識別也是Snapdragon 820可以提供的一個很核心的技術,現在手機裡會有非常非常多的照片,日後瀏覽時很麻煩,但透過Zeroth這個高通開發的電腦視覺辨識技術,就可以自動把有同樣元素的照片歸類在一起,或為照片加上標籤,方便搜尋,Zeroth可以辨識是什麼物件、場景、人物、人數、時間風景...等。


這算是目前很熱門的機器學習應用之一,這技術已經用在比方Google Photos、Flickr...等網路相簿的自動辨識功能上了,連接伺服器裡的資料庫,去比對辨識照片裡有什麼,是什麼,Zeroth也是這種,但Zeroth特別的地方在,
這技術是機器/ 手機內的,不需連接伺服器,在機器裡自己就能做學習來辨識靜態照片,這樣一來可以減少連網等待時間,二來可以減少數據傳輸量,第三因為資料都留在本地,使用者較有隱私感。
但這就很考驗處理器對圖像處理、篩選比對的能力,以及做這些運算時耗電的控制能力,現場我們看到辨識速度相當快,而且準確率也很不錯,而且可以產生一些生活化的辨識結果。(嗯..音樂會場景也辨識出來了)




Tim McDonough最後提到,目前已經有超過70款採用Snapdragon 820裝置在設計中,大多是手機,也有一些OEM廠商在做手機以外的裝置,


--比方可以拍攝並傳輸4K影片的無人攝影機。
--或在監視器裡利用Snapdragon 820的影像辨識技術,分辨是影子或真人小偷,
--又比方車用系統,利用Zeroth技術,不需透過連線,用車裡的感應器就能收集並辨識路上的資料,讓駕駛系統自動作反應。
這之後會由OEM們自己來宣布,高通提到,相信在未來一個月裡,就可以看到很多應用Snapdragon 820的不同領域產品。

講沈浸式體驗很容易讓人侷限在VR體驗裡,其實不只VR,高通認為因為Snapdragon 820可以帶來擬真的體驗,所以可以提供身歷其境的體驗,這不僅指VR裝置,也是表示其他OEM們的裝置,可以透過Snapdragon 820提供使用者更進一步,接近真實的體驗,運用範圍則在每個使用者的生活裡。