近一年來有些網路相簿,導入機器學習、電腦視覺的技術,讓軟體自己會辨識照片裡有什麼,然後自動分類,便於用戶搜尋,或延伸出更多應用,如Google Photos、Flickr...等,三星手機的相簿也有這樣的技術,可自動辨識,簡單分類。

這回輪到iPhone了,iOS10開始,蘋果會為相片加入機器學習及電腦視覺的技術,自動辨識本機及iCloud照片裡的臉孔、物件、動物、場景,加上原本就會紀錄的時間、地點,於是一張照片就會有很多中繼資料,系統知道這張照片裡有誰、有什麼、在哪裡、什麼時候拍的...然後就能延伸出新的應用。


什麼應用?
在iOS 10的相簿裡,包括「回憶」、「人物」、「搜尋」、「相關照片」。





搜尋及人物:


一打開新的Photos,首先可以看到相簿排列方式由條列變成格狀,並多了「人物」跟「地點」兩個相簿。

「地點」會用地圖顯示你曾在哪裡拍過照片。


「人物」這個全新相簿,就跟這次的自動辨識功能很有關係。
iOS 10的照片,會掃描整個圖庫,自動辨識照片裡各種物件,包括臉孔,不僅是存在手機裡的,以前拍的,同步到iCloud上的照片也會辨識,這項技術會在100毫秒內對照片進行110億次運算處理。


完成辨識後,系統會自動把同一個人的照片集中起來,若以後再拍到這個人的照片,系統也會自動把新照片加入他的人物相簿。
若是喜好人物,可以把他的相簿往上拉,以後要找某人的照片就方便多了,系統也會依照某個人物出現的頻率,自動辨識這個人的重要性。(但這裡還不會自動加上名稱,需要自己命名。)



辨識出臉孔跟物件,除了會自動整理外, 之後還可以輸入各種關鍵字,方便搜尋。
關鍵字可以是某種物件,比方花、車、魚、大樓...等,也可以是哪個地方的風景,比方[日本 湖]、[神奈川 貓]、[舊金山 漢堡]...等,系統都會把相關照片撈出來。(但要搜尋人物的話,相簿得要經過自己命名才搜尋得到)


但辨識難免有錯,怎麼辦?
如果發現某張人物照片沒有被辨識歸檔,可以手動加入及合併相簿,若是物件辨認錯誤,目前就只能靠蘋果那邊優化後更新了。








回憶:


iOS 10新增的「回憶」功能,也有運用到自動辨識。
這功能簡單說就是將相關照片,集結成一本「回憶相簿」,其中包含一段加上特效、音樂,自動做成的「回憶電影」。


剛提到同一個人物的照片會自動集結,集結好的人物相簿,就可以加入「回憶」。
或是在你的相簿裡,有很多各地(旅行)拍的照片影片,iOS的相簿本來就會把某段時間在某地拍照片,集中在「選集」裡,點開某個選集,可以看到它已經自動標好時間、地點,而且挑出一些精選的、不重複的照片,自動做好一段回憶相簿跟電影了。

比方我手機裡有一堆5/9~13號,在日本旅遊的照片,新相簿不僅幫我把這段旅行的照片、影片都集中好了,還自動做好一個簡單的「回憶電影」。



這個回憶電影包含標題、背景音樂跟轉場動態,這些都可以再自己手動編輯,加上或拿掉照片、影片、調整長度、更換配樂...等。


內建或可下載的配樂還不少,這裡也可以讓你加入自己的音樂,照片播放的節奏還會配合不同的音樂做變化。



這裡做了一段,成果大致是這樣,我除了打標題、選照片跟音樂外,其他都是自動完成的,選擇不同配樂的話,又是完全不一樣的感覺...貓太可愛了...>"<...回憶還是需要包裝才有fu啊。(影片也可以加入,我這裡沒加而已)


做好的電影,都會放在「回憶」這個標籤頁裡,除了自己做好的,系統也會用自動集結好的照片,自動生成一本回憶相簿。


我沒有用過太多這一類的App,跟Google Photos相較的話,在iOS 10上編輯回憶電影時,只要改變音樂、長度,照片的動態特效就會跟著自動改變調適,操作起來比較簡單,但Google Photos有較多主題,比方8釐米電影風、節慶風、復古風...等樣板可以套用,做出的電影會比較有個性。







瀏覽、相關照片:


另外在瀏覽照片時,也可以看到更多資訊。
比方附近的照片~(結果發現走到哪都在拍貓


也會列出相關的照片,可能是相同的,或附近的一個地點,或是有相關的人物。


如果照片裡有人,也會列出人物(臉孔),讓你繼續瀏覽這個人的其他照片。





不管是回憶,或瀏覽時自動抓出的相關照片,這些都有用到識別技術,解析照片裡的人事時地物,轉為照片的中繼資料,每一張照片都有資料後,就可以做深層的關聯處理,找出這張和那張照片的關聯,因此整理出相關的照片。


這個相關聯可能包括:系統知道你經常和哪個人一起拍照、你最常到哪裡旅行、你照中的場景,在哪趟旅行也出現過...等等,因此,在拍攝/ 瀏覽每一張照片時,就能帶出相關的回憶...
這不就是我們以前在整理、翻閱沖洗的相片時會有的感覺嗎?拜機器學習跟電腦視覺技術所賜,在iOS 10裡,這些都會自動幫你整理好。






隱私


現在我們很常聽到機器學習這個名詞,在辨識照片上指的是讓系統瀏覽過大量的照片後,學習辨識照片裡的這個東西叫什麼,那個叫什麼,並經過不斷的糾正來提高準確度,因此這個訓練過程,需要大量大量的照片,也因此每每提到機器學習辨識照片時,總是會被質疑說你們是不是未經我的同意,就拿我們存在網路相簿裡的照片來做訓練?
其實大公司們多半會特別注意,並避免侵犯用戶隱私。(失去用戶信任對自己也沒好處...)

以蘋果來說,他們訓練用的照片都是來自內部圖庫,並不會從用戶的iCloud取用照片,而且這項辨識都是在本機裡完成,並不會把你的照片上傳到雲端做辨識,這麼做是為了確保用戶的隱私。








編輯


除了自動辨識相關的功能外,「編輯」裡也有新增工具。
首先是可以編輯Live Photos了。
但...現在的版本不行嗎?
現在如果我們要裁切或調整Live Photos的話,只會套用到靜態照片上,在iOS 10上,則會同時套用到照片跟影片上。這樣一來就不會因為要編輯照片,就得捨棄Live Photos最有價值的那段動態了。
若要把Live Photos設成桌面,也可以處理得漂亮一點。


另外就是在調整光線的項目裡,新增了一個「增豔」。
名稱聽起來好像是提高飽和度之類的,其實不是,它比較像一個動態範圍的效果,可以針對特定區域做調整,把偏暗的地方提亮,亮部拉暗,局部調整對比、銳利度、色澤...等,很適合用來修正忘了開HDR而拍失敗,或暗部細節不足的照片。




在編輯相片時也把Markup這個延伸功能加進來了,讓你簡單在照片上塗鴉註記、局部放大...等。







相機


iOS 10相機的更新反而比較少,發現了幾個就一併在這裡分享吧。
首先是開啟相機的方式多了。
可以在鎖定螢幕上往左滑開啟。


也可以從控制中心3D Touch相機的icon,選擇一種拍照方式。


打開相機後,會發現切換前後相機的按鍵位置往下移了,跑到快門鍵旁邊,而且變大。
這樣設計的用意,應該是想讓我們只能單手自拍時,操作起來更順暢吧。


錄影時,畫面上有提示目前是什麼格式。


另外就是用iOS 10相機拍LivePhotos時,可以套用濾鏡了。(現在iOS 9上是只要選用了濾鏡,Live Photos就會被強制關閉。)




相簿幾個比較重要的更新大致是這樣,雖然這並不是第一個運用機器學習/ 自動辨識相簿,但終究是一個還蠻大的更新,相信在秋天更新後,大家用起來會有新的體驗,尤其是手機或iCloud裡有上千張照片時...會很需要。



相關文章:
[iOS 10] 更新的鎖定螢幕很方便 但會有隱私問題嗎?
[iOS10] 新Photos會自動辨識照片 自動分類 自動做本回憶相簿
[iOS 10] 新iMessage用生動特效 讓聊天文字活起來