Apple 發表全新輔助功能 結合 Apple Intelligence 助盲人「看」懂世界、Vision Pro 眼神就能開輪椅

Apple 發表全新輔助功能 結合 Apple Intelligence 助盲人「看」懂世界、Vision Pro 眼神就能開輪椅

在硬體裝置導入 AI 功能已經是目前硬體廠商的主流,甚至是必備的功能之一,而在 6 月份的 WWDC 前,蘋果宣布利用 Apple Intelligence 的生成式 AI 功能對 iOS、VisionOS 的輔助使用功能提供更方便的使用方式,對視障、聽障、肢體及認知障礙的使用者帶來更直覺、更具人性化的智慧操作,像是運用 iPhone 上的「旁白」與「放大鏡」功能,協助視障使用者能夠更了解周圍環境,以及讓 Vision Pro 支援「用眼神操控電動輪椅」等功能。



Apple 發表全新輔助功能 結合 Apple Intelligence 助盲人「看」懂世界、Vision Pro 眼神就能開輪椅

首先是針對失明或是低視能使用者所提供的「旁白」(Voice Over)與「放大鏡」功能,前者可利用 iPhone 機身側面的動作按鍵,就能快速對相機所拍攝到的畫面進行語音提問,(像是:「這張電費帳單是多少錢?」),系統就會提供語音回應。而放大鏡功能則是在獨特的高對比介面上提供上述的視覺描述與問答能力,同樣也能用語音指令來控制操作。

另外語音控制功能部分,則是支援了自然語言理解操作,使用者不用說出特別的功能或是名稱,可以用自然語言的形式進行更直覺化的操作,像是點開綠色的資料夾,就可以在檔案 App 裡面開啟綠色資料夾來查閱裡面的文件。

而輔助使用閱讀器功能這次也升級至可處理複雜版面以及進行隨選摘要與翻譯功能,像是可以重整包括多欄文字、表格跟圖片等的複雜文件,將其轉化成大字型且清晰的單欄文字內容。而隨選摘要與內建的翻譯功能則是提供隨選的文章重點摘要功能,並內建翻譯工具,讓使用者能用自己的母語閱讀,同時保留原有的格式與字體顏色。

Apple 發表全新輔助功能 結合 Apple Intelligence 助盲人「看」懂世界、Vision Pro 眼神就能開輪椅
原始版面。

Apple 發表全新輔助功能 結合 Apple Intelligence 助盲人「看」懂世界、Vision Pro 眼神就能開輪椅
整理後的版面。

Apple 發表全新輔助功能 結合 Apple Intelligence 助盲人「看」懂世界、Vision Pro 眼神就能開輪椅

這次蘋果也新增了影片裝置端字幕生成功能(Generated Subtitles)針對一般沒有提供字幕的影片內容(例如個人拍攝的影片、親友分享的短片或特定線上串流),系統可利用「裝置端語音辨識技術」自動生成隱私安全的逐字稿字幕。支援的裝置包括 iPhone、iPad、Mac、Apple TV 和 Apple Vision Pro,使用者也可自訂字幕的顯示樣式。

除了 iPhone 的輔助功能外,VisionPro 也加入了更新行列,新增了包括眼球追蹤控制輪椅、等功能。這個眼球追蹤控制輪椅真的很炫,是為了無法使用搖桿駕駛電動輪椅的使用者提供了全新的操控方式,透過 Vision Pro 的眼球追蹤系統,利用著視點的移動來控制電動輪椅的移動,目前這項功能率先在美國支援 Tolt 和 LUCI 系統。

Apple 發表全新輔助功能 結合 Apple Intelligence 助盲人「看」懂世界、Vision Pro 眼神就能開輪椅
在 VisionPro 中顯示的電動輪椅操控介面,利用眼睛注視就能夠觸發方向按鍵移動。

另外這次 VisionOS 也加入了車輛動態提示功能以及臉部動作操作的輔助功能,前者可協助乘客在行進的車輛中使用 Vision Pro 時減輕暈車感。後者則是支援以「臉部動作」執行點按與系統操作,並在「停留控制」提供全新眼控選取方式。

Apple 發表全新輔助功能 結合 Apple Intelligence 助盲人「看」懂世界、Vision Pro 眼神就能開輪椅

至於在實體設計部分,這次蘋果也跟洛杉磯設計師 Bailey Hikawa 合作,以輔助使用需求為主要核心概念,針對握力與行動能力受限者設計推出了 Hikawa Grip & Stand for iPhone 適應性握把與支架配件,以三款亮眼新色提供使用者更好的握持方式。
難怪Apple AI要叫 Apple Intelligence ,跟現行主流AI (artificial intelligence)方向截然不同
目的不變,都是便利人們的生活
陳拔 wrote:
首先是針對失明或是低視能使用者所提供的「旁白」(Voice Over)與「放大鏡」功能,前者可利用 iPhone 機身側面的動作按鍵,就能快速對相機所拍攝到的畫面進行語音提問,(像是:「這張電費帳單是多少錢?」),系統就會提供語音回應。


失明者可以用手機對著帳單拍攝問...「這張電費帳單是多少錢?」
airsmario
應該是泛指弱視,視覺缺損,失明也不見得是看不到,而是看不清楚或範圍很低。完全看不到應該是算「全盲」。
很不錯的功能...
很強大 看得大開眼界 非常的利害萬分
科技幫助讓人的生活更便利
這是很正向的發展
陳拔 wrote:
在硬體裝置導入 AI...(恕刪)


這次AI放在輔助功能感覺比較有意義
不是只拿來修圖寫信 而是真的能幫到需要的人
科技始終來自於人性
蕭煌奇受惠者
感謝分享&介紹,這才是科技要帶給人類的意義呀
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!