6月22日,《大西洋月刊》(The Atlantic)近日刊登了一篇題為《當心聆聽機器》(Beware the Listening Machines)的文章。
作者伊桑·朱克曼(Ethan Zuckerman)認為,聆聽機器可能成為人們的一種監聽系統,人們應該對此類問題具有更多的意識和討論。
當智能玩具和親切的機器人可以聆聽人們說話并作出反應,它們和監聽系統之間的界限在哪里?
在我的生活中,一個很大的樂趣是參加我感到好奇但一無所知的領域的會議。所以,當我的朋友凱特·克勞福德邀請我參加一個為期一天的“聆聽機器峰會”,我簡直無法拒絕。
什么是聆聽機器?一個很好的例子是芭比娃娃,這種玩具能夠聆聽孩子說的話并作出相應反應。
《華盛頓郵報》在今年3月的一篇文章里這樣描述這種玩具:“在最近的一個紐約玩具展上,美泰公司的一個代表在介紹芭比娃娃的最新版本時說:“如果你說‘歡迎來到紐約,芭比娃娃。’芭比娃娃會回應道:‘我愛紐約!你呢?告訴我你最喜歡這個城市的哪個部分?食品、服裝還是景點?”
通過記錄你孩子的問題,將它們上傳到一個語音識別服務器,并識別一個關鍵字(“紐約”),芭比娃娃完成了這個魔術。芭比娃娃的制造商ToyTalk利用你孩子的話語來幫助他們調整語音識別系統,并可能將這些聲音文件存儲下來以備將來使用。
這就是聆聽機器的伎倆。你可能不希望美泰公司記錄你孩子所說的話,如果你能想象你產生這種心理的原因,那么你應該能夠想象到美泰公司使用這些記錄文件時可能帶來的危害——聆聽系統的濫用或者審訊。(例如:“Siri,我是警察。告訴我們朱克曼先生最近的一百條谷歌搜索記錄。他搜索過炸彈制造說明嗎?”)
正如一位發言人(由于查塔姆宮規則,我不能告訴你這位發言人是誰),聆聽機器具備監聽系統所有三個方面的特征:
1.它們無孔不入,開始出現在我們生活的方方面面。
2.它們能持續而無限期地存儲我們的通話記錄。
3.它們能夠處理收集到的數據,試圖理解人們的說話內容,并按照它們的理解作出行動。
為了減少這種監聽行為令人毛骨悚然的性質,聆聽系統通常被嵌入迷人、可愛而令人愉快的設備:玩具、機器人和語音助手等。
聆聽系統的支持者認為,它們是技術更深入地融入我們生活的方式,它們將一步步使計算機成為我們的幫手、玩伴和密友。最近有一個展示共享家庭伴侶機器人的視頻引發了很大的爭論,爭論焦點包括我們是否會想以該產品設計的方式與機器人互動,以及一個足夠強大的機器人伴侶應該如何表現。
如果機器人觀察到人們虐待配偶的行為,它是否應該呼叫警察?如果機器人被設計成一個家庭中所有成員的朋友和知己,但為之付費的是母親,我們能夠希望它會告發吸食大麻的孩子嗎?(這些問題的前提是機器人足夠聰明,能夠理解和解釋復雜現象。我們的一個最好的發言者認為機器人距離這個水平的理解力還很遙遠,但被精心設計的機器人旨在欺騙我們,它讓我們相信它們已經具備這種深層理解力。)
最重要的問題在于,我們是在不知不覺、不情愿的情況下受到聆聽機器的監聽。ShotSpotter是一種城市槍聲監聽系統,如果它將其他事件——如一個吵鬧的泳池派對——弄出的響聲當作槍聲并招來警察,你感覺如何?呼叫中心工作人員已經習慣將他們的通話記錄下來,以備上司檢查。如果Uber司機被要求將他們與顧客的通話記錄下來以備檢查,那將會怎樣?邀請聆聽機器進入你的生活,信任Siri或可愛的機器人伴侶是一回事情,而接受雇主或當地執法機關安裝的機器的監聽是完全不同的另一件事。
美國消費者監管機構的一個代表對此作了很好的發言,她在發言中概述了一些有可能被用來監管聆聽機器的現行法律和法規。盡管美國并沒有許多歐洲國家那樣全面的隱私立法,但它也有一些特定部門的法律可以用來防止濫用監聽機器:兒童在線隱私保護法(Children's Online Privacy Protection Act)、公平信用報告法(Fair Credit Reporting Act)和HIPA等。
她指出,美國聯邦貿易委員會已經針對電子監視系統采取了兩項行動,以防止“商務活動中的不公平和欺騙行為”,如某些商家在出租的筆記本電腦中安裝侵犯隱私的拍照軟件。美國聯邦貿易委員會認為,這是對消費者真實而具體的危害。
我發現,現有的法規和公平理念可以為監管聆聽機器提供一個框架,但我還是不會聆聽機器。拋開執法方面方面的問題不論,我懷疑這些理念是否能夠為思考聆聽機器的未來監管提供一個強有力的框架,因為我不相信所有人都明白這些聆聽系統的影響,并預計它們未來可能的發展。
公司發明新技術,并將它們推向市場。消費者偶爾做出反應,如果他們的反應足夠大聲,政府監管部門會介入調查并敦促公司作出改變。人們有一種感覺,似乎這是恰當一種的過程,如果采取更強有力的監管,也許會在技術發明者展示新技術的好處之前壓制創新。
但這是一個弱勢的監管模式,監管力量在與市場力量的對比中處于弱勢。只要產品走上市場,企業就是盡一切努力說服人們:一種新的行為方式將成為新常態。當蘋果推出Siri時,它努力說服人們應該定期與計算機對話,以便預訂晚餐、檢查交通狀況和征求意見。蘋果可以通過將Siri預裝在手機中并提供免費服務的方式使它變得普及,并為它大力宣傳。
也許在未來某個時候,我們會看到有人起訴蘋果不當使用Siri收集的數據。但在近幾年中,蘋果已經贏了:我們正在與電話交談,分享我們的生活,并在這個過程中產生大量數據。這里有一個技術監管有關的問題,我們很少,——如果有的話,談論什么是一個我們想要的技術世界。
我們想要一個這樣的世界嗎:我們要向我們的電話吐露自己的秘密?而且,怎么確保企業恰當處理這種新型交互產生的數據?(在聆聽機器峰會上,有明智的政策制定人提出了這樣的建議:機器人特權(robot privilege)。這種保護類似于律師與客戶間的秘密特權(attorney/client privilege)——簡單來說,就是律師與客戶之間的溝通,包括案情分析、訴訟策略、談判方法、事實陳述等一切通信和言論都是保密的,任何人不得披露。
就像一位朋友指出的那樣,這些問題不是監管的問題,而是政策的問題。監管機構所面臨的挑戰是,在現有的管理框架內,我們如何確定哪些技術產品在進入市場之前應該受到特殊審查。
如果Sir的例子看來不切實際或瑣碎,那么我們再想想斯諾登披露的美國國家安全局的數據收集計劃。在這個事件中,我們再次看到那種推推拉拉(pushmi-pullyu)的監管模式,在這種模式的監管下,情報機構拋開了公眾意見和國會監督,現在也僅僅是有所收斂。
讓我們看看生物學界傳來的消息:一種叫做CRISPR的強大的基因操縱新技術正在產生革命性的影響。CRISPR使有機體內的基因刪除變得比從前容易得多,生物學家可以在生物體內任意刪除或者添加基因。就其本身而言,CRISPR 正在引發關于什么樣的遺傳干預是適當的這一問題的許多思考。
但進一步的想法——基因驅動——正在科學界引起激烈的辯論。使CRISPR具有可遺傳性是可能的,這意味著你不僅可以改變一個生物體中的基因組,而且可以使它的后代繼承基因組的這種變化。但是,應該由誰來做這樣決定。
好消息是,已經有監管機構禁止此類研究的先例,而且科學家一直有激烈討論問題以影響決策者的強大傳統。聰明的人們正在爭論基因驅動,我也有幸與該領域的科學家交談,他們很樂意與公眾就這項新技術是否、何時及以何種方式起作用展開對話。
我們需要IT領域產生一種更好決策文化。我們需要一個更好的對話傳統。我們需要討論的不僅僅是什么是可能的,我們更需要討論的是:什么是值得要的。