最近亞馬遜推出了一個名為Amazon Go的實體便利店。這個商店的獨到之處在于,它不需要排隊,無需注冊,也不需要結賬。用戶進入時只需在手機上打開Amazon Go App的二維碼,在閘機上刷一下,選好商品就可以徑直離開!
這個商店到底用到了哪些高科技呢?從官方的宣傳看,技術亮點包括傳感器融合和深度學習算法。然而,亞馬遜并未公布該系統(tǒng)的詳細工作原理,所以我們現(xiàn)在只能是對其進行大致推測。
Amazon Go使用攝像頭和計算機視覺代替RFID標簽?
為什么Amazon Go使用攝像頭和計算機視覺而不是用物品上的RFID標簽呢?對于這個問題,Quora上的一名網友Will Thiel表示,最重要的原因是,Amazon Go不是真正的商店,而是一個可轉售的服務。也就是說,如果此舉成功,亞馬遜將試圖以轉售亞馬遜網絡服務同樣的方式,為用戶提供7-11商店內的購物體驗。這意味著他們需要為7-11提供服務,而不用其采用新的流程和硬件。
其他原因包括:
1.成本。如果每個商品上都加一個RFID標簽,RFID標簽會花錢,貼標簽的時間會花錢,解決人工錯誤會花更多的錢。亞馬遜不喜歡花錢。
2.設備。為什么亞馬遜想用智能手機而不是其他非消費類硬件?成本(見上)、數(shù)據(見下)、增強現(xiàn)實。亞馬遜可以將有關銷售等的信息疊加到用戶購物體驗上。
3.數(shù)據和交互性。如果傳感器在購物車里,RFID只會告訴你什么商品進入到車里,什么留在車里。如果傳感器在門口,他們只會告訴你什么商品離開了商店。有了手機和計算機的視覺,亞馬遜知道每個人在商店里做了什么。
客戶無法被RFID標記,攝像頭和計算機視覺可以跟蹤到他們。現(xiàn)在,任何商店都已經添加了攝像頭,可重復利用。
然而,網友Jacob Minz給出了不同觀點。他表示,即使是有人坐在視頻屏幕后觀察,也不能可靠預測客戶封閉的購物袋中有什么。其次,任何閉路攝像機電路將具有其盲點,或者會遭受浪涌而產生瞬時盲點。
所以,商品必須貼上RFID標簽。
RFID標簽非常便宜,零售價僅為0.13美元,亞馬遜可以以0.03美元(折合成人民幣僅約2毛錢)更便宜的價格購買到。
RFID是無源元件,不需要電池工作。掃描儀可以相隔一定距離獲取到其代碼。
上圖中的人實際上是貼上了RFID標簽。但在商店的示例中,所有物品都會被標記,計算機可以創(chuàng)建物品的動態(tài)地圖。
我們需要有第三個點,即客戶(客戶標簽),這就是計算機視覺(CV)發(fā)揮作用之處。其他的事情亞馬遜就很容易搞定。
為了不出錯,用這么多傳感器也是拼了
另外,Quora上的另一名網友表示,Amazon Go里面的這些攝像頭能識別人的膚色,通過圖像分析精確找到顧客的手。畢竟當購物者較多時,兩位顧客很有可能會在一個貨架上拿貨,通過膚色來識別用戶是最有效的方法,可以降低失誤率。
亞馬遜還有強大的 Alexa 智能助手,遍布雜貨店的麥克風采集聲音后,系統(tǒng)就能獲知到顧客的方位和大致動作。通過各個麥克風接收音頻的時間差,系統(tǒng)還能得出顧客在商店中的行動習慣。
此外,通過壓力傳感器和稱重傳感器,系統(tǒng)可以判斷貨架上的商品是否已經被拿走或還回。再配合圖像分析,系統(tǒng)就能及時發(fā)現(xiàn)用戶在還回商品時是否放錯了貨架。
這兩份專利文件,是否和Amazon go相關?
另外,網友Brian Roemmele也透露說亞馬遜曾提交過兩份專利文件,里面的描述和Amazon Go如出一轍。這兩份文件分別為:“檢測物品互動與移動”(Detecting item interaction and movement)和“物品從物料處理設施上轉移”(Transitioning items from the materials handling facility)。
“檢測物品互動與移動”這份專利的大致內容是:用戶從貨架上拿起或放下物品時,系統(tǒng)可以檢測到這個動作,并且更新用戶移動設備里的清單。
從專利中我們了解到,系統(tǒng)中包含多個攝像頭,它們被分別置于天花板、貨架兩側和內部。其中,天花板上的攝像頭用來采集用戶和貨品的位置,貨架兩側的攝像頭用來捕捉用戶的圖像和周圍的環(huán)境,貨架內的攝像頭則用來確定貨品的位置或用戶手的移動。
“物品從物料處理設施上轉移”這份專利主要是說,物品被識別,并且當用戶正在拿起物品時,物品自動與用戶發(fā)生關聯(lián)。當用戶進入或穿過“轉移區(qū)”(Transition Area),被拿起的物品將自動轉移到用戶,而不需要有用戶的“確認”輸入或帶來附加延遲。
另外,專利還表示,這里的攝像頭可以是多種類型的,可以是RGB攝像頭或深度感知攝像頭。除了攝像頭之外,也可以有其他輸入設備,比如壓力傳感器、紅外傳感器、體積位移傳感器、光幕等等。壓力傳感器可以檢測物品移出和進入的時間,紅外傳感器可以用來區(qū)分用戶的手和物品。