Swami Sivasubramanian住在西雅圖郊區一片樹木繁茂的地區中,這是當地一些熊經常出沒的地方。 有時候,通常在夜里,熊會在Sivasubramanian的后院游蕩。但是,盡管他們盡了最大努力,他和他的家人從未親眼發現過這些“入侵者”。
“我妻子真的很想看到這些熊,”亞馬遜負責機器學習的副總裁Sivasubramanian說。“她有時候會一直熬夜,等著這些熊來,她也希望我陪著她熬夜。”
在這方面,Sivasubramanian有點不太情愿。但是作為一名技術專家,他要積極得多。最后,他用DeepLens創建了一個解決方案。DeepLens是一個來自亞馬遜網絡服務(Amazon Web Services,下文簡稱AWS)的新視頻攝像系統,可以讓任何具有編程技能的人利用深度學習來自動化各種任務。
具體來說,他利用DeepLens建立了一個機器學習模型來安撫他的妻子,這個模型可以檢測到熊出沒,并向她的手機發送一條短信。“這樣她就可以醒來,說,‘嘿,一只熊就在那里,’”他說。
DeepLens可以執行許多其他的機器視覺方面的任務,比如辨別食物是不是一個熱狗。如果你看過電視劇《硅谷》,對這個任務你肯定不陌生。它還可以將一幅圖像的藝術風格整體遷移到整個視頻序列中。這只是亞馬遜在眾多業務中利用人工智能和機器學習的眾多方式之一,既用于執行內部流程,也用于改善客戶體驗。
從很早的時候,亞馬遜就利用人工智能系統,根據用戶的喜好提出產品推薦。多年來,這些系統背后的算法被反復調整。亞馬遜全球消費者部門的首席執行官Jeff Wilke說,如今,由于機器學習技術的進步,這些推薦變得更加靈活。
他解釋說:“假設秋季的時候有一種新的穿衣打扮潮流,在過去,我們使用的算法可能需要更長的時間才能意識到買某種鞋的人也買了某款上衣。有了一些新技術,我們可以更早地發現這些東西,以及這些東西背后相關性。然后在更早的時候把它們推薦給顧客。”
Echo Dot-和每一個由 Alexa 提供動力的設備都被注入了亞馬遜人工智能。
亞馬遜在人工智能和機器學習領域的研究,為Alexa語音助手提供了動力,讓AWS的用戶可以使用基于云計算的工具,允許顧客拿著商品并立即走出亞馬遜Go 商店,引導機器人直接將裝滿產品的貨架交給履行中心的工作人員,等等。
人工智能技術對亞馬遜的大部分業務至關重要,而且它的應用范圍非常驚人。這也是公司市值一度突破萬億美元市值的一個關鍵原因。
亞馬遜公司的一個理念是,每天都是“Day One”。談到人工智能和機器學習,Sivasubramanian不僅僅給出了標準的“Day One”作為參考。他開玩笑說,“今天是Day One,但是時間還很早,我們剛剛醒來,甚至還沒有喝一杯咖啡。”
機器人之舞
在亞馬遜位于華盛頓州肯特市的855000平方英尺履行中心內,一群橙色的亞馬遜機器人正在“跳舞”。每臺橙色機器的頂部都有一個黃色的盒子,四面各有九排產品包裝貨架。
在人工智能的驅動下,當太平洋西北部某個地方有人在亞馬遜上購買了東西時,每個機器人都自動開始行動,現在每個機器人都自動地繞過其他機器人移動,然后把東西運到指定地點。
在那里,一名工人將會把相關物品取下,放在傳送帶上,交給另一名工人,由他將物品打包裝箱。
考慮到亞馬遜處理訂單的規模,峰值效率至關重要。每年的訂單數以百萬計的速度放大,即使每份訂單節省一兩秒鐘也能帶來巨大的差異。
一段時間以來,亞馬遜在其履行中心使用機器學習“來提高我們預測客戶訂購的產品,并將其放在正確位置的能力,”Wilke說,“同時也提高了我們向消費者提供產品的效率和速度。”
它看起來并不那么性感,但是最近一項基于人工智能的創新,讓那些履行中心的員工可以跳過處理每份訂單時的一個手動掃描物品的步驟,這對亞馬遜來說是一個巨大的勝利。
這項新技術正被應用于亞馬遜的倉儲過程中,工人將分銷商和制造商送來的物品存放在倉庫貨架上的任何地方,只要它們的位置被記錄在電腦中,機器人一下子就能再次找到它們。
過去一直在使用的方法是,工人從箱子里抓取物品,用條形碼掃描儀掃描,放在架子上,然后掃描架子。雙重掃描將物品與其位置關聯起來。
現在,先進的計算機視覺和機器學習技術的結合,工人們將能夠簡單地雙手拿起一件物品,在附近安裝的掃描儀下滑動,并將其放入箱子里。
系統足夠智能,可以識別物品放置的位置,并記錄下來以備將來參考,而無需工作人員掃描箱子。
亞馬遜負責機器人公司的工程副總裁Brad Porter說,解放原本用于操作條形碼掃描儀的手大幅度提高了效率。
“我自己做了大約五分鐘之后,我意識到我可以拿起五六個小東西……用左手拿著它們,拿著一個,掃描它,放進去,再拿著一個,掃描它,放進去,”他說。“超級自然,超級容易。”
亞馬遜履行中心的機器人。
開發這個新系統花了大約18個月的時間,它使用了計算機視覺和機器學習算法,來評估工人觸摸物品的方式,并確定這些物品何時被放入箱子里。
Porter將這些算法描述為亞馬遜正在使用的“更復雜”的算法之一,因為它需要識別出一個工人是將一個物品放在箱子旁邊還是實際上放在里面。
而且,不管箱子有多滿,這個系統必須能夠在不同的照明條件下工作,光照會隨著一年中的時間而發生巨大變化。
最近幾周,亞馬遜在其位于密爾沃基履行中心啟用了新系統,并準備在另外10個中心也這樣做。
考慮到要確保任何改變都不會使亞馬遜的履行中心變得效率低下,從而產生巨大的負面影響。Porter的團隊必須確保新的創新已經萬事俱備。
在被問到“今年的假日購物季,我們會啟用系統嗎?”時,他回答道:“我們差不多已經做好了出發的準備。”
目前還不清楚亞馬遜何時、甚至是否會在它的所有履行中心推出新系統。不管怎樣,Porter已經在考慮如何改進它了。這歸功于利用攝像頭技術和機器視覺處理速度的進步。
他設想用更多的攝像頭來升級系統,這樣就有可能識別包裝上的條形碼,而工人甚至不必將它對準掃描儀。每件商品可能只節省半秒鐘,但以亞馬遜的規模來看,這使得它確實非常有潛力。
抓住就走
新的履行中心系統的核心技術是,使用攝像頭和人工智能軟件來檢測有人拿著一個物品并將其放在貨架上,你可能會認為亞馬遜Go正在使用同樣的技術,亞馬遜的無人商店允許顧客走進去,拿住他們想要的東西,然后直接走出去,所有的東西都會自動計入他們的賬戶。
“不是這樣的,”Porter說。盡管公司內部的人工智能科學家之間可能會進行一些交流,但亞馬遜Go的硬件是獨立開發的,包括彩色和深度攝像頭,以及重量傳感器和算法。
它反映了五年來系統開發的成果,這個系統能夠在擁擠的雜貨店等復雜環境中跟蹤人們處理各種尺寸、形狀和顏色的物品。
到目前為止,亞馬遜Go只有四家分店,三家在西雅圖,另一家在芝加哥,還有更多的在計劃中。
但是它們能夠處理源源不斷的顧客,這些顧客可以在進入時掃描他們的手機,隨意購物,從貨架上取東西并放回貨架上,并準確跟蹤他們最終拿走的東西,不管路上有多少潛在的麻煩。
從外面看起來,亞馬遜Go很像一個典型的小雜貨店。
亞馬遜Go的副總裁Dilip Kumar說,對系統來說,最有挑戰性的是識別顧客拿起一件商品的行為,因為它會阻擋攝像頭對一件商品的觀察。
不管商店有多擁擠,即使兩個穿著相同的人并排站著,互相伸手去拿,甚至拿的是同樣的商品。亞馬遜Go的系統必須能夠跟蹤商店中每個顧客拿了什么。
“你在這里挑選一件物品,或者我在那里挑選一件物品。我們仍然需要能夠將我的選擇和你的選擇聯系起來,”Kumar說。“所有這一切的挑戰不僅僅是制造一個傳感器,還要應對各種光照條件。你還要考慮到顏色變化。粉紅色的東西并不總是一整天都是粉紅色的。”
為了解決所有的這些問題,Kumar的團隊設計了算法來分析攝像頭看到的內容,并追蹤人們與產品的互動。最后,他們必須能夠確定最后是誰將商品從貨架上拿走了。
Kumar不愿透露亞馬遜Go的系統有多精確,但很明顯,如果亞馬遜Go的系統容易出錯,亞馬遜不會向公眾開放這些系統的。一年多以來,亞馬遜Go在公司西雅圖總部大樓進行測試,對系統進行微調,只有員工才能進入。
Kumar說,亞馬遜Go技術的下一步是改進算法,使其“每單位計算”更強大,并利用更便宜的傳感器。將這兩個因素結合起來,亞馬遜Go的系統可以更快地識別商店中的新商品,而不必訓練算法來識別它們。
他指出,最后要達到當20 %到30 %的商品在任何時候都是新的的時候,系統還能穩定運行,這一點很重要。
當被問及亞馬遜是否計劃將亞馬遜Go平臺移植到其“全食帝國”時,Wilke說這不太可能。
相反,他認為亞馬遜Go只是向顧客購買雜貨和其他物品的多種方式之一,其他的方式還包括亞馬遜食品柜(Amazon Pantry)、亞馬遜生鮮(Amazon Fresh)、全食等。
Wilke說,最終,機器學習是一種“先進的”技術,它使我們能夠更好地利用這些體驗。
但是,如果彭博的Spencer Soper最近的一篇報道中的消息準確的話,也就是亞馬遜正在考慮在未來幾年內開設3000家亞馬遜Go商店屬實,亞馬遜并不會為它的機器學習系統的應用前景感到困惑。
所有人都能定制Alexa技能
當提到亞馬遜和人工智能時,可能很多人都會想到亞馬遜的數字助理Alexa。迄今為止,人們已經購買了數百萬臺Alexa驅動的Echo設備,第三方開發人員已經開發了超過45000種技能,這些基本上是語音驅動的應用程序,可以做任何事情,從提示食譜到玩家庭游戲到閱讀新聞。
隨著Alexa驅動的設備飛速發展,亞馬遜一直致力于幫助第三方硬件制造商將Alexa直接集成到他們的產品中。
一項名為Alexa Voice Service的計劃迄今已經聯合Sonos、Ecobee、索尼、聯想等公司推出了大約100種產品。Rabuchin解釋說,Alexa Voice Service本質上是云計算中的一組API,使硬件制造商能夠利用Alexa。亞馬遜會向第三方提供它的前端音頻算法,以及制作Alexa驅動的設備的指南。
亞馬遜還與機構合作,讓它們為放置在大學宿舍或酒店房間的Echo設備創造可定制的技能。
舉個例子,Alexa Voice Service的副總裁Steve Rabuchin回憶說,他住在萬豪酒店,能夠讓Alexa打開和關閉燈,打開電視,換頻道,還可以詢問它健身房在哪里。
Alexa的下一個前沿是讓消費者創造自己的定制技能。
過去,這需要一些基本的軟件開發知識。但是亞馬遜想讓Alexa技能創造過程變得簡單,所以它推出了它所謂的Blueprints:一個基于模板的Alexa技能創造工具,幾乎每個人都能動手創建技能。
Blueprints讓任何人都能教Alexa新的技能,不需要有編程基礎。
用Blueprint創建技能就像填寫幾個字段并點擊保存一樣簡單。雖然這些技能一般不會像專業開發人員所構建的那樣復雜,也不能公開提供,但是它們確實允許幾乎每一個Alexa用戶都可以利用人工智能來達到一些高度個人化的目的,比如給保姆提供指導或者加強鍛煉計劃。
亞馬遜人工智能無處不在
亞馬遜之所以能夠成為一家價值近萬億美元的公司,主要驅動力之一是AWS:龐大的基于云計算的存儲和服務器業務。AWS已經成為很多公司和開發者的標配,他們可以借助AWS獲得與Alexa、亞馬遜 Go、亞馬遜Prime Video、亞馬遜產品交付等類似的人工智能和機器學習技術。亞馬遜機器學習副總裁Sivasubramanian說:“AWS的使命是將這些機器學習能力交給每個開發人員和數據科學家。”
Sivasubramanian說,機器學習幾乎在商業的每一個領域都有令人興奮的潛力。盡管有無數公司的高管看到了它會如何幫助他們的企業,但“它仍處于起步階段。很多企業的高管都在看著我們,說,‘你如何才能真正幫助我們利用這些機器學習能力來改變我們的客戶體驗?’?”
Sivasubramanian說,到目前為止,有成千上萬的客戶在零售、房地產、時尚、娛樂、醫療保健等行業使用基于AWS的機器學習服務。
這些客戶具有各種級別的人工智能能力。一些是Sivasubramanian所說的專家,擁有機器學習博士學位的人。而另一些只是應用程序開發人員。亞馬遜定制了人工智能和機器學習產品,以滿足這兩種客戶的需求。
其中一些客戶有豐富的經驗和能力建立自己的機器學習模型;其他人只是想利用為他們創建好的模型。這就是為什么亞馬遜建立了SageMaker,這是一個端到端的機器學習服務,旨在幫助開發者建立和訓練機器學習模型,并在云中或智能手機等設備上運行它們。
Sivasubramanian列舉了許多公司客戶使用AWS人工智能和機器學習服務的例子。
其中包括:使用SageMaker建立欺詐檢測模型的Intuit;預測用戶正在寫什么以及需要什么修正的Grammarly;分析數千小時的視頻,以識別名人和特定的政治家,并將其索引的視頻數量增加一倍的CSPAN;使用亞馬遜的Polly文本到語音服務生成個人語言學習課程的DuoLingo;使用亞馬遜的會話API作為服務的Liberty Mutual,構建一個聊天機器人,使保險公司能夠處理許多用戶的問題的Lex;NFL也正在使用相關服務正在分析比賽,以預測下一場比賽的情況。
他說,AWS機器學習工具的使用率比去年增長了250 %,自去年11月以來,AWS在其機器學習產品組合中增加了100多項新功能或服務。
其中之一是DeepLens。它能讓開發人員能夠在10分鐘內構建并完整訓練一個機器學習模型,它已經在亞馬遜從未想象過的許多方面得到使用。
當然,在這些非“正常”的應用中,Sivasubramanian是為了滿足他妻子的要求而建造的項目。他了解到,DeepLens比他意識到的還要聰明。“最初,我讓它識別任何動物,包括我的狗,”他說。“但是這是機器學習的樂趣:你不斷地調整它,以確保排除假陽性的東西,確保它變得越來越準確。這是一個正在進行的項目,所以我的家人可以擁有世界上最好的熊探測器。”