
每年五月的第三個星期四,是全球無障礙體認日,透過這個時刻提醒每個人關注各種使用障礙者的困境,以及設計無障礙產品的重要性。大家都知道手機或平板裡有「輔助使用」這樣的功能,提供許多方法,讓聽障、視障,或是肢體行動不太方便的用戶,也能操作手機、平板裡的功能,近年來機器學習廣泛應用在手機各種功能裡,裝置辨識語音/ 影像/ 文字的能力也大幅提升,輔助使用更是受惠。
蘋果在全球無障礙體驗日來臨前,也宣布將推出好幾項輔助使用新功能,結合軟體、硬體、機器學習的力量,為身障者提供導航、健康、通訊等方面的新工具。
包括:
- 可以透過搭載LiDAR的iPhone及iPad做「門偵測」導航。
- 以及用Apple Watch Mirroring鏡像輸出這功能,從iPhone控制Apple Watch。
- iPhone及iPad上的即時字幕則讓聽障者可以閱讀影片、音訊內容。
- 此外可以朗讀螢幕項目的「旁白」功能,也將會擴大支援超過20種語言及地區。
雖然立意上是給身障者使用,但對視力、聽力、靈活性都不那麼好的長輩來說,或許也有幫助,在幫老人家設定手機時,或許可以派上一些用場。
iPhone代替視障者找出入門
「門偵測」 這功能的用意,是給盲人或視力低下者使用的,在用戶到一個新的地方時,可用iPhone、iPad幫忙找出門的位置、方向,計算出距離,並描述門的屬性,比方門現在是開的,還是關的?是要用推、拉,還是轉門把來開?讓視障用戶知道。門偵測也可以讀取辨識門周圍的標誌或符號,如門上的號碼,有沒有無障礙標誌..等。


這是透過光學雷達掃描儀(LiDAR)、相機來獲取環境資料,並透過裝置內機器學習來完成,因此這會在有LiDAR的iPhone、iPad上提供,如iPhone 12 Pro系列、13 Pro系列以及第二代以後iPad Pro。
之後可以在「放大鏡」這App裡的「偵測模式」裡,看到門偵測功能。
未來偵測模式也可以幫助視障用戶取得周圍環境的豐富描述,以及之後在使用Apple地圖時,也可以「旁白」輔助功能,提供聲音跟觸覺回饋,以辨識步行路線的起點。
用手勢、語音甚至頭部動作操作Apple Watch
現在Apple Watch的設定裡,有輔助觸控這一項,內有「手勢」功能,可以讓用戶握拳、捏手指等動作來操作Apple Watch選單、包括點一下、往前往後選擇、捲動、按下錶冠...等指令。這是幫助無法觸控的用戶,以Apple Watch上的感測器,偵測握拳、捏指時細微的運動來操作。其中有個很方便的「快速功能」,這一般人也可以利用,打開Apple Watch上的輔助觸控--手勢--快速動作後,可以依照Apple Watch螢幕上的指示,握拳兩下來接聽來電、捲動通知...等,這些都是輔助功能之一。

之後軟體更新則會提供基於AirPlay開發的「Apple Watch Mirroring」,幫助身體或運動障礙者使在iPhone上,以輔助功能裡的「語音控制」和「切換控制」來控制Apple Watch(Series 6以後機種)。
「語音控制」是用唸出如輕點、打開、輕掃...等非常多指令,來代替觸控操作螢幕的功能。
「切換控制」則是遠端控制另一台同Wi-Fi、同Apple ID裝置的功能,如用iPhone、iPad、iPod Touch控制Mac,或反過來用Mac控制行動裝置。
其實在瀏海iPhone上,還可以在「切換控制」裡,透過原深感測相機追蹤頭部移動範圍,控制螢幕上的游標或選擇範圍,然後操作手機的。
因此結合Apple Watch Mirroring後,就可幫助身障者以語音、頭部追蹤,或是外部Made for iPhone切換裝置來輸入指令操作手錶,使用如血氧、心率、正念、體能訓練...等健康功能。

為聽障者產生語音即時字幕
另一項更新是將針對聽障、重聽者,提供「即時字幕」的功能。這會在使用任何音訊內容,包括FaceTime視訊、串流影音、視訊會議、社群聊天App…等,甚至跟身邊的人交談時,辨識語音產生即時字幕,讓聽障者用看的溝通,以及獲取內容。且群組FaecTime的即時字幕,會將自動轉錄的對話對應給該通話對象,讓聽障用戶也可以參與多人FaceTime。且不管是辨識或是顯示,都只在裝置上執行,不會傳到外部,保護使用者的隱私。
「即時字幕」將於今年稍晚在iPhone 11之後型號、搭載 A12 仿生及後續晶片的iPad 機型,以及配備 Apple 晶片的 Mac 上,以英語(美國、加拿大)提供測試版。


旁白將支援更多語言
最後是存在很久,為視障者所做,會朗讀螢幕項目的「旁白」功能,這個中文已有支援,之後會再擴大支援超過20種朗讀語言,包括孟加拉語、保加利亞語、加泰隆尼亞語、烏克蘭語、越南語...等。此外,Mac 上的「旁白」可以使用新的 Text Checker 工具,來發現如空格重複,或大寫字母錯位,等常見格式問題,方便視障者校對檔案或電子郵件。這一週蘋果也響應全球無障礙體驗日,推出一些特別課程及內容,如
世界各地的 Apple 零售店這週都將提供即時課程,幫助顧客探索 iPhone 上的輔助使用功能,Apple 支援的社群通路也將展示相關教學。
Accessibility Assistant 捷徑將於本週在 Mac 和 Apple Watch 上的「捷徑」app 中推出,根據用戶偏好推薦輔助使用功能。
Apple TV app 將聚焦真實呈現身障人士的最新熱門電影和節目...等。
最後提個個人猜想~
這些不必動手,靠LiDAR及相機掃描環境,辨識影像、辨識語言,並用語音、頭部操作的場景,不正是AR眼鏡要做的事嗎?
郭明錤先前曾提出蘋果將在今年第四季推出AR眼鏡(有傳聞名叫Apple Vision…但我個人覺得這名稱不太親民也有點長),這些輔助使用功能,不禁讓人對怎麼用這眼鏡有了些很具體的想像,接下來看6月6日的蘋果開發者大會,會不會提出更多AR內容目前的進展,再推進我們對這眼鏡的猜想吧。
回到輔助功能,許多人有我們難以想像的操作需求,輔助功能要做的也比我們想像中要細緻,
一般用戶平常可能不太會關注輔助使用,但裡面其實藏了很多操作跟技術的寶藏,也有很多小功能,對一般用戶也非常方便。
比方前面提到的快速握拳操作Apple Watch,還有很常用的點一下喚醒、輕點背面、朗讀所選範圍、收到提示閃爍LED..等,都是輔助使用裡的項目。也趁這機會提醒大家有空可以去挖一挖吧。