在Xperia X系列即將上市前,SONY再次讓我們前進東京總部,親自聽聽研發人員、設計師
及主管們對產品,介紹新旗艦機在拍照、螢幕技術跟設計上的細節,其中拍照的新增還蠻有看點,也蠻讓人好奇的,這部分就先來看SONY團對們又在相機上施展了什麼本領。

簡單列一下X Performance及X的相機主要的規格:
--1/2.3吋,2300萬畫素/ Exmor RS/ 混和式對焦/ G Lens
--1/3吋,1300萬畫素前相機/ Exmor RS
--24mm廣角
規格看起來有點平淡,不過這次的重點不在這些數字上。
本次相機新增的功能有~
1. 預測路徑對焦:被拍物就算移動中,也可以清楚的拍下來。
2. 0.6秒快啟快拍:從休眠到拍完,只要按一個鍵,且只需最快0.6秒。
3. 提升低光自拍效果:前相機硬體有提升,軟體也做更好的降噪,讓照片更明亮清楚。

看來多半是要解決一些手機拍照的困境,包括拍移動中的東西,小孩、寵物、動態等的,以及低光自拍,終於不用安慰自己自拍照有昏暗的美感了





① 預測路徑對焦 拍攝移動一瞬間


預測追蹤對焦(Predictive Hybird-AutoFocus)是這次X Performance及Xperia X相當強調的新增功能之一,透過這個技術,拍攝移動的人、孩子、寵物、車子...時,就可以捕捉到想拍的一瞬間,而且是有對到焦的,清楚的。

相信大家用手機在拍小朋友或寵物時,都有幾種經驗是:要嘛拍到模糊的身影,不然就是沒對到焦是糊的,再不然就是為什麼照片裡沒東西,因為拍到的時候東西都出框了。速度、移動這件事,對手機拍照來說還是一個痛點。
比方拍一個迎面跑來的小孩,常會遇到像這樣,那一刻是捕捉到了,但放大看後發現其實並沒有對到焦,焦在後方。


所以SONY怎麼解決移動物很難拍的痛點?
0.03秒快速混和式對焦,加上預測路徑對焦。



對焦為何快?

在Z5時我們已經知道,它是結合對比對焦,跟感光元件上埋進相位對焦點,兩個一起作用,達到0.03快速對焦,這個在X Performance及Xperia X上也有。
為什麼可以快到0.03秒?

因為在做相位對焦時,會根據被拍物的距離,有一個對焦區域分布(Focus Position Map),每一個方格都是一個對焦點,裡面含有判斷對焦所需要的資訊。(但這裡的格數不代表Xperia X的對焦點數,不用數了


比方這張越野車照,對焦區域分布就是左上到右下淺色的部分,距離比較近,是主體,另外兩角顏色比較深的部分,既離比較遠,是景深。
如果這每一個點的距離判斷得準,那對焦就可以一步到位,速度自然也快。
上半部是偵測距離誤差或範圍較大的狀況,對焦點不知道準確的距離,只知道東西可能離我90cm~120cm之間,所以得再次偵測,或透過對比對焦來回修正,直到找到對的距離/ 對焦點,速度就慢了。

下圖彩色的則是Z5及X Performance、Xperia X的狀況,很快就能偵測到東西離我100cm,就可以毫不猶豫的以相位對焦完成合焦,少了修正的時間,讓Z5、X Performance及Xperia X可以最快0.03秒完成對焦。
但為何麼Xperia可以較準確的偵測到距離跟對焦位置呢?怎麼做到的?
這是因為Xperia在相位對焦時,除了對焦點的距離,還會參考其他資訊,比方亮度依起來做判斷,判斷依據較多,抓到的對焦點就比較準確,對焦時就可以一步到位。



預測路徑對焦解密

好的,那怎麼完成預測路徑對焦呢?很多手機也都有追蹤對焦啊,拍小孩照樣失敗,Xperia X的預測對焦是有比較不一樣逆?
有,不一樣的地方就是預測路徑,這就是X Performance跟Xperia X獨有。


左上角的圖表,直軸是對焦距離,也就是人的位置,橫軸是時間,粉紅色細線代表照片裡藍衣服先生奔跑的路徑。
我們在人跑到藍三角的位置時,按下拍照鍵了,一般狀況下,這時對焦點就是在這個位置,但通常因為快門會有時間差,而人繼續在跑,所以拍下的會是人在紅三角位置的那一刻,這意味著,紅三角的位置是沒有焦的(因為焦對在藍三角那邊啊),到這邊為止應該很容易理解吧。

SONY的改善之道,就是在按下相機鍵時,就根據之前的路徑,預測按相機鍵之後,人會移動到的位置,知道位置,就知道該合焦的點在哪,結果就是即使移動中,也對得到焦。
前面提到的,拍迎面跑來的小孩比對照,放大看之後就可以發現左邊沒有配合預測路徑,焦落在小孩身後,右邊是配合預測路徑對焦,就清楚拍到小孩。


放大看清楚一點。


除了對得到奔跑的人,這技術還能確保較不會拍到出鏡照。
開發者跟我們秀了一段與競品的對照,拍一個迎面跑來的人,在同樣時間按下快門,結果Xperia有捕捉到奔跑中的那一刻,再看競品的,拍到時人都出鏡了,這是拜Xperia的快速對焦所賜。


分析拍攝過程,兩支一樣都在左上圖表中,藍三角的時間按下快門,但競品的對焦時間較長,等拍到時,人已經跑到接近出框了(綠三角)。
但Xperia的對焦時間較短,所以很快就拍到了。




但亂跑還能預測路徑嗎?

孩子、寵物、跳舞的人...等,並不是每個時候都會按照線性的路徑移動,更多時候是沒規律的亂跑,那還能預測嗎?

會出來講當然就是可以 ,因為其實預測的時間很短,
回到剛剛的投影片,圖表裡的圓點,是移動的位置,紅點就是它預測出的,未來的位置,但它0.1秒內就會產生10個這種預測點,等於它做的是預測0.01秒後的路徑。
假設照片裡的先生,在按快門後突然往右跑,在我們看來是一秒內瞬間轉向,但對預測來說,這一秒並不是瞬間,它預測的是0.01秒後會在什麼位置,這麼短的時間內,其實很難有什麼大的大差異的動向,因此在我們看來雜亂的路徑,還是預測得出來。


比方這球滾動的方向是變來變去的,甚至還往回滾,但對焦框還是不離不棄。


那移動的速度會不會影響預測正確度?
工程師告訴我們,車子行進、跑步、走路都可以預測,但可預測,跟拍得出清晰的瞬間照是兩件事。拍高速物時成功與否,還是要看快門速度,跟環境光線(影響對焦速度),所以光線不足的地方,凍結成功率還是會變低。

開啟預測對焦會不會很耗電?
工程師告訴我們,其實預測時並不會耗什麼電量。


怎麼操作?

這功能只在X Performance跟Xperia X上有,Xperia XA沒有。
拍照選單裡有個物件追蹤,把這個打開,就是啟動這功能,關閉,就是一般的定點自動對焦。


拍照時,對著主體點一下,會出現這樣的追蹤對焦框,讓你知道是否有跟上並在對焦。



成品?

昨天還沒有時間在戶外測試預測路徑對焦,不過前面提到,環境亮度影響很大,在戶外、照明充足或有採光的室內,較能拍出清楚又定住的動態照,成功率高,稍微不明亮的地方,就會因為快門速度不夠快,還是拍出有動態模糊的照片,自己在飯店房間試著拍滾過來的易開罐,也發現這樣的問題。(比方這張)


亮度不夠不好拍喔...那簡單啊?手調快門速度不就好了。
登楞~X Performance及Xperia X的M模式,依然無法手調快門,而寫稿此刻才想到我為什麼沒有問這件事啊啊啊~~~(可手調ISO)。



不能手調快門,那選運動或寵物模式,快門就快了吧...
登楞~選擇模式時,不能開啟物件追蹤~


那那那,調高ISO,就會自動縮短快門速度,這樣總行了吧...行,這樣行。


後來我在飯店房間裡就這樣拍,軟體降噪後效果看來也還可以。



拍這張的速度跟環境亮度大概是~請看影片,亮度對拍動態來說很不夠,於是我把ISO調到800,就拍得到了,但也因為亮度不夠,對焦速度也有(比戶外)變慢一些。

其實Galaxy S7上也有跟隨被拍物移動對焦的功能,不過它是讓畫面上佈滿對焦點,這樣一來不管東西移到哪裡,都可以對焦,它沒有預測路徑這一個部分,不過要解決的痛點看來是類似的。


不過我覺得滾飲料不是這個模式要利用的地方,還是真的拍人、動物、車...之類的生活場景比較有意義。今天會有一個專門的時間給測試拍照,下一篇再送上多一點的動態照吧。




② 0.6秒前還在休眠 0.6秒後拍好了


拍照上另一個跟速度有關的升級是,快啟快拍的速度加快到0.6秒了。
Xperia手機一直有個快速啟動的功能,在螢幕關暗休眠時,長按拍照鍵,就可以自動開啟相機,並完成拍照。在X Performance及Xperia X上,這功能縮短到0.6秒,也就是說從休眠--啟動--對焦--拍好,過程最快只要0.6秒。


這是Z5相機系統結構,上面是軟體,下方是硬體,軟體部分就是和α團對共同開發,比方對焦速度、場景辨識、HDR、高解析模式...等。
硬體主要是SONY自家的相機模組,以及來自供應商的圖像處理單元。


其中,相機的啟動、拍攝速度,受限於處理器晶片廠提供的拍攝排序(Capture Sequence)功能,不盡然能符合廠商或使用者的期待,比方拍攝後一定要等處理完才能拍下一張。
所以SONY決定在X Performance及Xperia X上,重新改寫排序,提高拍攝的速度。


首先改進的是相機啟動速度。
開啟相機過程中,相機模組、ISP、3A*、Precesser啟動是串接排序的,這個完成了,才能進入下一個程序,因此所花的時間就比較久。
X Performance及X上,則最大程度的把這些改成並行,這樣就能縮短相機開啟的時間。
*3A技術指:自動對焦(AF)、自動曝光(AE)、自動白平衡(AWB)

第二是改進Post Processing,就是我們常說的廠商調教、大量處理後製的速度,這段也很花時間,Xperia X上把它後台化,這樣拍完之後,就讓它進去後台處理,我們就可以繼續在前台準備拍下一張。也就是說在X Performance跟Xperia X上,可以馬上接著拍,幾乎不用等前一張存完處理完再拍。

=================
實際用X Performance來試試看,投影上重複播放一段倒數3秒後,出現Xperia X官方照的影片,畫面上出現Click時長按拍照鍵快啟快拍,我們來看看會拍到什麼?


有順利拍到click下一張的畫面,如果開啟相機久一點,或快門延遲長一點,拍到的就是3或2數字了。
從休眠可直接啟動拍照的機種不算多,又可以這麼快的,應該就只有X Performance或Xperia X了。
不過這時候並沒有對焦的過程,拍的是泛焦照,可能不太適用在近拍的場合。
設定裡也可以選擇啟動後錄影。



然後可連續拍攝。
工程師展示了一段影片來說明,分別拿Z5及Xperia X拍攝一個碼錶,紀錄按下快門,到可拍下一張的間隔是多少。
Z5從按下快門到可拍下一張,中間約需1.6秒,同樣過程,Xperia X只需0.2秒...好快...


實際用X Performance試試看,用點擊拍攝,幾乎可以無間斷接著拍,而且可以看到右上角的相框還在轉同時,我還是可以對焦可以拍。


但我想說Z5有比較慢嗎?於是也拿Z5來做一樣的事,還真的有比較慢,主要是在處理圖片同時,無法讓你點螢幕對焦拍照,有興趣對照的可看這段影片





③ 1300萬畫素前鏡頭 加強低光自拍




這次X Performance及Xperia X的前鏡頭,突然提高到1300萬畫素,而且把之前用在主相機的技術,紛紛加到前相機來,其中SONY特別提出的是一般光線下拍紋理更清楚,低光時候拍,畫面更亮,且做更好的降噪。


可以做到這樣的提升,跟SONY改進了硬體跟圖像處理技術都有關係。

硬體方面,除了畫素提高,兩支手機的前鏡頭都是1/3吋Exmor RS感光元件,搭配六鏡片組及F2.0大光圈,支援自動對焦,整片感光元件的大小,跟之前500萬畫素前相機的機種,大了2.6倍,不過單位畫素並沒有變大。這樣的硬體組合,讓自拍照清晰度及感光效果都有提升。


在正常光線下的效果,把照片100放大對照看,可以發現綁頭髮的髮圈、眼睛眼鏡、嘴唇看起來畫質看起來都比較紮實清楚,而且也看到Xperia X上有很自然的美肌效果。


針對低光下的照片,則是做降噪修正。
以往Xperia手機上,就有幾種軟體降噪的方法,現在也把它用在Xperia X的前鏡頭上,利用Pixel binning、連拍合成及超解像(Super resolution)三種技術來降低噪點。


前面提到感光元件上的像素單位面積並沒有變大,但在Xperia X前相機上採用Pixel binning,拍攝時將鄰近的四個畫素,合成一個,這樣就可以用較大的像素來採光,理論上可降低一半的噪點。
沒有加大單位像素面積,而採用四合一的方法,是因為他們覺得同樣的感光元件大小下,像素面積大,解像度就會受到限制。

而拍攝時會在很短的時間內連拍六張,並把這六張照片合成處理成一張,這個步驟又可去掉一半的噪點,因為效果明顯,主要的降噪都因為這個技術。
工程師拿出對照圖給我們看,多張合成後的降噪效果相當明顯。


第三則是用了upscaling的技術,把被合一的畫素還原放大,過程中以「Super Resolution」的技術,還原丟失的紋理訊息。
開發人員提到,還原時有搭配機器學習的技術還原畫素,跟一般補差點還原不一樣的是,它的插值會跟SONY自己的影像資料庫對比,補上最適合的畫素,這就是所謂用上機器學習的方法,而補差點就僅僅是模擬附近畫素,兩種方法還原/ 補差後的精確度是不一樣的。

另外前相機最高支援到ISO 6400,高ISO就意味著在低光時可以拍到更亮的畫面,即使只有兩燭光的亮度,也能有左半邊的拍攝效果,但高ISO所產生的噪點,則可以用上面三個技術降噪。


高ISO搭配有效果的降噪,在特殊場合,比方過生日、在餐廳自拍...等,可以拍得比較清楚,且降低失敗率。
在晚上吃飯時,跟受邀表演的書法家兼模特兒朝比奈英呼一起自拍,當時是個燈光溫馨的小型宴會廳,單手拿著自拍的效果。(個人對自然的美肌比較有感XD)


軟體修正的效果算不錯,我不知道會不會有人很在意為何什麼都是用軟體、用演算法做後製降噪,而不是在先天上,用硬體提高進光量,自然減少噪點?
在提及這個問題時,開發人員告訴我們,SONY一直努力在提升相機畫素,是因為提升畫素同時,感光元件尺寸也會變大,進光量,拍攝時接收的信息就多,解像力就好,同時也可提高信噪比,但在這同時,他們也會加入圖像處理技術做調整,去除噪點之類的,在提高影像質量這件事情上,他們其實是硬體和軟體兩個方面都在並行的。



======================
這幾個跟其他旗艦機提出的相機功能還蠻有區隔的,也有獨特性,而且有技術含量,套句小米用語,這比較有黑科技成分一點,所以大家對這些有期待感,或覺得是你需要的嗎?

不過看了一下,一些介面上的痛點還是沒有解決,比方沒有點擊測光、沒有專業模式、沒有自動HDR等。
今天會有一個較完整的拍照測試時間,我來好好體會一下X Performance、Galaxy S7 edge及HTC 10的差別,下一篇來跟大家分享囉。

但寫完後發現Xperia XA都不支援這些...登楞~