在上一篇Google與Levi’s合作觸控外套的文章裡,有提到同一個團隊,其實還有在做另一個創新的專案,叫做Project Soli。看似跟Levi’s外套那個專案無關,但其實都是同一個初衷延伸出來的:團隊想要尋找另一種更自然的人機互動的方法。
Levi’s外套讓衣服表面就可以觸控,Projec Soli更神奇,它要讓我們隔空動動手指就能操作。


這個計畫也是Google ATAP團隊去年提出的,到今年的Google I/O上,就看到實際在喇叭跟手錶上,隔空操作的應用了。
它是透過裝置上的晶片,發射雷達微波,追蹤手的動作,做到非接觸式操作,比方手指在錶旁轉一轉,就可以調整時間,但Project Soli研發的對象主要是小型的穿戴裝置,但這晶片也可以運用在汽車、物聯網家電或電腦、手機裡,不管是什麼設備,團隊想做的是在3D空間裡就能操作設備。

看看Demo吧~
成果發表會上拿出來操作的是團隊與LG合作的智慧錶,以及JBL合作的喇叭,我們來看看是Soli如何隔空操作這兩樣東西。
在操作錶的時候,可以看到手掌靠近後,錶面就自動開啟訊息,移動一下距離,訊息清單就跟著滾動,再靠近,可以看寄件者跟內容,手掌遠離後,又回到時間的錶面。
接著,用搓搓手指的手勢,讓memu選單跟著滾動,有這個方法,手指就不用去點錶面上那小小的icon了。(如果沒有自動跳到對的地方播放,那可手動從28:44開始看)


喇叭也是類似的操作,手掌靠近開啟喇叭,並用打響指的手勢換曲,然後用再見的手勢,揮揮手,關閉喇叭。(如果沒有自動跳到對的地方播放,那可手動從31:23開始看)

這裡透露另一個重點是,操作喇叭時,隔空的距離比手錶還遠,感應器得最大範圍可到15公尺,也就是說手和機器只要在這範圍內,都可以隔空操作,這樣的距離就可以應用在家電上。
這兩個都還是很初步的原型機,能這樣操作,關鍵在手錶跟喇叭裡都有一個雷達感應晶片。



故事是這樣開始的...

是怎麼辦到的?為什麼會有這個計畫?做出來的東西是什麼?
關於這些問題,我覺得從團隊一開始的想法來說比較好,雖然有點長,但從這些東西開始瞭解起,比較完整,也比較能體會這個東西,會怎麼改變我們習以為常的觸控。

Project Soli的主持人Ivan Poupyrev說過,我們的手指是非常靈巧,而且可以精準控制的,從機械錶工匠在手工組裝手錶時,就可以發現,不止工匠們,我們每天也都在發揮手指那靈巧的本事,但不包含滑手機。
對研究人機互動工程的科學家來說,現在我們操作這些電子設備的方法,比方各種觸控、點、滑,其實都沒有真正發揮到雙手指擁有的靈巧的能力,現在所用的這些方式,都是笨拙的(應該理解成:因為手指的能力很強大,但我們觸控這些電子裝置時,卻只到最粗淺的手勢,但其中是語音跟手勢感應算比較不笨的)。
所以怎麼樣運用手指更強大的能力來操作電子設備,成為他們關心的話題,尤其在穿戴裝置這種小型設備上,應該要有更聰明更自然的操作方式。

我們每天都在滑手機,如果我們把手機拿掉,只保留手勢,這樣就不會因為有一個具體的東西在我們手上,限制住手指可以活動的方式。(限制的意思是,現在都是因為我們要在螢幕或按鈕上操作,所以手指都是在一個平面上滑、點、捏,但實際上手指是可以在空間裡,有各種動來動去的。)

如果能僅透過肢體動作,手上都不要有實體的東西,手指在空氣中動一動,就能操作各種設備,這樣不就能用上更多種手勢,而且更自然嗎?
團隊及其他研究者已經發現幾種手勢,也能當做互動的指令,比方兩根手指直向、橫向搓搓轉轉、食指與拇指指尖互點...等,尤其可以用在小型的穿戴裝置上。比方你可以手指搓搓轉轉的來隔空調整音量、找頻道、撥號...等。






運用微波雷達技術捕捉手勢訊息

隔空操作並不是不可能,但要透過感應器,而且這感應器要能捕捉手指細微動作,不只要能捕捉二維方向,也要能抓到3D方向的動作,而且要小(因為要放進穿戴裝置裡),而且電力至少要夠你用上一整天。並且最好的狀況是,全部集成在穿戴裝置裡,不需要再加個額外的輔具(就算要有,也要做到不感覺增加負擔)。

條件這麼多,很難找到吧?
他們在研究電磁波譜時,發現雷達感應器可以符合這些的需求。
雷達感應簡單說,就是雷達設備透過天線發射電磁波,碰到對向的物體後,產生了反射波,接著雷射設備就接收這些反射波,透過運算法,提取反射波的能量、延時、頻率偏移...等資訊,
就可以算出對向物體的距離、速度、形體變化、方位、高度....等信息,也因此可以算出手勢的動作。


雷達符合團隊要的:靈敏、精準、又可以穿透材質、還可以做到接觸式操作,又符合低功耗的要求,但有一個重要的問題是,雷達感測器的體積放不進穿戴裝置裡,困難的地方在要把感應器縮小縮小再縮小。

總之Project Soli的團隊和很多外部的合作夥伴一起努力,然後就做出來了
第二代晶片是由團隊和英飛凌合作,重新設計出來,更小(僅8×10mm)、功耗更低,這是一個集成的電路板,雷達在60GHz頻率下運作,裡面有天線、有控制電路,可以放進穿戴裝置裡使用,且團隊還一起優化的演算法,搭配起來比第一代降低了22倍的功耗。


此外,運算雷達訊號的演算法也是團隊也開發的,他們的演算法可以提取非常細微的訊息,因此可以分辨手指小小的動作,比方搓揉手指、滑動...等不同的變化,這樣一來,就能對不同的動作賦予不同的定義(代表什麼指令),用來操作電子設備。

看到這裡,我覺得需要讓大家看一下ATAP上的介紹影片,因為接下來是一段有點難的科普,看影片會比較有感,影片沒有很長,4分鐘而已,而且有中文翻譯字幕可以看,建議看一下。(而且裡面有個女生的工程師很漂亮)


看到最後,就可以瞭解Project Soli要做的隔空操作是什麼、應用在什麼地方了,真的很酷..這群人簡直是哆啦A夢來著。

感測晶片雖然做出來了,但還有一個問題是:成本。
這裡不是做這個晶片的成本,而是要能捕捉手指細微又複雜的動作,要用細微光束一直即時掃描雙手,解析信號,這個解析的過程,跟解析時需要的硬體成本很高,所以團隊又要來解決這個問題。

他們的做法是用寬射束(Broad beam)高幀幅掃描手部動作,不同動作就會讓信號產生不同的波形...所以透過波形就可以知道手部做了什麼動作。
團隊監測每一種信號/ 手勢,並記錄下來,然後把這些記錄送到機器學習的網絡裡,形成一個個手勢標籤,當資料庫裡累積了很多手勢標籤後,就能更準確的判斷手勢,即使是細微的動作。





第二代晶片 嵌入手錶

團隊在去年10月已經釋出開發工具包,讓更多開發者可以使用,同時團隊也找了來自14個國家的60個開發者,用工作室的型態,嘗試做一些應用,比方In-car Romote,開車時做個電話的手勢,舉起手接聽,或是隔空點點櫥櫃上鎖...等。


不過這些都是實驗性質的東西,這些都只是第一步,得把這技術應用到實際的東西上,才是團隊要達到的目標,況且有的還需要花費較多的電力,甚至運算時要搭配大電腦,這些都是把技術實品化的阻礙,所幸前面提到的,與英飛凌合作開發出的第二代晶片解決了這些問題。


至於電腦計算,雷達在成向跟追蹤物件時,需要大量的運算能力,沒有大型的電腦可能辦不到,這在第二代晶片上也一併解決,Project Soli做了一個嵌入式平台,跟手錶採用一樣的處理器(Snapdragon 400),並優化演算法、訊息處理效能...等,更棒的是,可以在Android上運行。



也因為第二代晶片的出現,讓它可以很好的嵌入錶冠,不會造成配戴不適。


與LG合作出這手錶後,就在今年的Google I/O上發表了,就是我們前面看到的示範。
接下來,明年他們將再釋出一個新的嵌入式開發工具包(SDK),更低功耗,而且就像模組一樣,可以放進產品裡使用。

要看到這技術商品化,時程上應該會比Levi’s的那件觸控外套要晚,但你的腦子裡是不是已經浮現很多應用了呢?整個就是哈利波特的畫面啊,對著壁燈手點一下就亮了;揮揮手掌,掃地機器人立刻出動工作....
在知道Project Soli之前,真的沒想到這電影畫面是會成真的。