Mary Cummings是杜克大學的人類和自治實驗室的主任,曾是戰斗機飛行員。她對于技術倫理的探討似乎并不是CIO們經常聽到的話題,在本文里,她將以谷歌眼鏡所面臨的道德困境為例,討論技術對于社會、個人隱私帶來的深度影響,同時她還會解釋為什么技術的社交和道德影響應該成為CIO工作事項的一部分,以及所謂價值敏感性設計的重要意義。
問:你的專業領域之一就是技術對于社交和道德的影響。CIO們是否需要意識到智能設備或人工智能對于業務的道德影響?
Cummings: 當然。每個管理層,每個人至少都需要意識到他們正在使用的技術的社交和道德的影響。
現在就有一個很好的案例分析,就是谷歌眼鏡。谷歌眼鏡在我使用的范圍內,有著一些很強大的應用,比如,飛機的維護,汽車的維修,在你完成一項任務時,在任何你需要的時候,可以在視野內看到一組程序或其他需要的信息。 因此,谷歌使用這一技術,并開始測試,認為這會是一個非常酷的設備,是人人都會喜愛的設備。
然而,我認為谷歌是真的非常震驚,當他們發現這項技術存在那么多問題。人們不只是拒絕使用這一設備,在我去過的很多地方,門上寫有標識,說明穿戴谷歌眼鏡的人不允許進入,因為它侵犯了人們的隱私。
這對于谷歌而言,有點莫名其妙。但是在產品設計領域一直有相關研究,比如,價值敏感性設計,理論上,當你有一個新的產品設計時,你應該坐下來,考慮各種附屬問題——你的技術可能涉及到的社會和道德問題——這樣你至少可以意識到這一點。 如果谷歌在早期意識到這一點,他們就會處于更有利的位置。
問:我從來沒聽說過 “價值敏感性設計” 這個術語。這一流程應該從何著手呢?
Cummings: 作為一名CIO,在設計產品的早期考慮這一因素是很重要的。即使你已經有了一個設計完成的產品,你也要盡快開始這一流程。你最好在早期解決這些問題,而不是等到有訴訟或負面新聞發生。
問:你能將道德代碼編寫入系統嗎?這可能嗎?
Cummings:有一些研究人員相信你可以對電腦進行編碼,使它比人類更有道德,人類依賴于情緒反應,甚至在壓力下,我們可能做出錯誤的決定。但是也有人反駁,認為人類的意義在于,基于人性做出決定,而不是冰冷的理性化。我的觀點介于這兩者之間,但是我更傾向于不編寫道德代碼,因為在我們進行編碼的時候,我們無法預測所有的外部情況。比如,對于一臺機器人殺手:我們不可能將它要面對的每一種情況,都編寫進去。因此,除非你能保證結果的確定性,我不傾向于編寫道德判斷。
問:這是否意味著你永遠不會把人類從決策系統中剔除?
Cummings: 這取決于決策系統本身。我認為在軍事上是如此,因為這會涉及到生命損失,或者救治,這樣的決定中需要有人類。當然,現在也有其他類型的決策——比如我的氣泵的常規決策,你就不需要人類的參與。但是當我們討論的決策會影響到一個或更多的生命時,或者,如果決策錯誤的話,會導致非常災難性的結果,這樣的情況就需要人類進行負責。