當人類進入信息時代，人們發現，人工智能在制造業、交通、通訊、生物醫藥、商業等領域表現出超越人類的高效率和高正確率的優勢，雖然目前的人工智能還不能脫離人類進行獨立創新，但已經顯露出無比的潛力。人們在受到鼓舞的同時，人工智能的發展也引起了警覺。人類第一次感受到來自技術本身的威脅，人類希望控制這個技術朝著有利于人類的方向發展，而不是相反。

技術是中性的，只有那些能被人類控制的技術才能被人類利用。

人工智能機器人的表現給人類以深刻的印象，流水線上的機器人以其熟練準確和不知疲倦沒有情緒的優勢取代了大量的工人，波士頓人形機器人的后空翻引得人類一片驚嘆，在驚訝之余，一些敏感的科學家已經感受到來自未來的威脅。

人工智能機器人面世以后，就以某方面的專家出現，將人類個體拉開不小的差距。隨著人工智能的突破性發展，一些科學家開始擔憂起來，害怕有有一天無法控制人工智能技術，使得人工智能技術成為人類的終結。史蒂芬霍金也有相似的想法，2015年，他在回答網友的問題時說過：如果人類開發出完美的人工智能，便意味著人類的終結。他解釋道：人工智能技術未來必將對人類構成威脅，最大的危險不是機器人有計劃地摧毀人類，而是它們完全拋棄了人類。具有了自主決策的能力的機器人不可能產生與人類敵對的意識，但它們在追求自身設定的目標時，會對人類的利益造成傷害。 真正的風險不在于敵意，而在于能力。 超級人工智能機器人將極善于達成自己設定的目標，如果它們設定的目標與我們人類的目標并不相互吻合，那我們就有麻煩了。舉例來說，人有時候踩死螞蟻，并非對螞蟻的主觀惡意，如果恰好準備在某個地區修建一個水電站，而那片地區正好有一個蟻穴，那么對于這些螞蟻來說就是壞消息。也就是說， 機器人帶給人類的傷害很大程度上是無意傷害，這就意味著人類從地球上萬物靈長的地位上跌落下來，淪落為自己一手制造出來的機器人占據主導地位之下的二等公民。霍金警告，不要把我們人類放到螞蟻的位置。比如踩死螞蟻，機器人帶給人的傷害，很多情況下是無意傷害。霍金認為，人工智能因具備了情感，最終會進化出對生存的渴望，未來一臺高度發達的智能設備將逐漸發展出求生的本能，努力獲取實現自身所設定的目標所需要的資源，因為生存下來，并獲取更多的資源，會增加實現其他目標的機會。對于人類而言，這將導致生存危機的發生，因為我們的資源將會被掠奪。隨著人工智能的發展，智能機器人就會具備生存能力，不再依賴人類，它們自我完善，自我升級，機器人世界就會出現技術大爆炸，將人類越甩越遠，就像人類和蝸牛在技術上的差距。幸運的是，目前以人工智能發展來說，離發展出與人腦相當或者遠超人腦的人工智能技術還存在遙遠的差距。

2015年，霍金與幾位頂級科學家和企業家馬斯克簽署了公開信，表達了對人工智能發展威脅人類發展的擔憂，科學家必須確保人工智能的發展方向和人類的發展方向一致。下世紀人類的能力將被超越，機器人在掌握了人類的心理以及應對模式后，就可以輕易控制并塑造人類情感，這是對人類的另一個巨大威脅。

從上述大段的論述，我們能感受到科學家對人工智能技術的那種既興奮又擔憂的感受，這種情形并不少見。1785年發明蒸汽機的時候，有人就曾經說過：“當心不要成為機器的機器”，當科學家發現了原子能，更多的人開始擔憂，害怕有一天原子彈終結了人類。這些擔憂實際上還停留在對人類自控能力的擔憂，并不對技術本身擔憂，因為這些技術是完全掌握在人類的意志里的。

然而，對人工智能的擔憂有些不同，人工智能從開始就是對人類思維和意識的模仿，起始階段就建立在遠超人類的每秒鐘幾十億次的計算的基礎上，和在龐大的網絡中的豐富的場景生產出來的海量數據，考慮到在即將到來的萬物互聯的前景下，在看到量子計算機的曙光時，在新能源和新材料受益于人工智能的發展而得到突破的愿景，這些物理基礎遠遠超越了人類的總體綜合能力。可以想象，在此基礎上打造出來的人工智能，總有一天將脫離人類的掌控。這種擔心就是對技術本身的擔憂，是對脫離開人類意志的另一種意志的擔憂，人類從來沒有處理過這類問題。

人工智能源自于人類的思維，也就脫離不開人類思維的局限，參照人類的社會結構，對解決霍金提出的問題也許會有一些啟發。比如，資本的流動需要監管機構的監督管理。想要實現有效監管，首先需要監管機構在技術上此資本更聰明，能獲取真實信息，并能對這些信息處理，發現違規的事實，比如審計會計對會計的審計，就是從不同的側面實施這種監督，總體上要求對審計會計的能力比會計更高明;其次，在發現問題后，有能力糾正問題，糾正問題需要動用審計會計以外的其他措施，被審計的資本不具備這些措施，并且在資本設立之初就不允許資本具有這樣的能力。只有在某些條件不對等的情況下，才能實現對資本的監管。這種不對等的設計，就是保障監管的有效性的基礎。

回到人類對人工智能擔憂的問題，由于人工智能最基本的單元是信息，那么真實的信息就是人類掌控人工智能的基礎。在設計人工智能的時候，首先人類要掌握真實信息，建立完全人工的事實調查機制，或者建立脫離于人工智能網絡的另一個專門用于調查事實的人工智能網絡，以防止被人工智能欺騙。也可以參照人類社會的分類原則，設計不同領域的人工智能協作和相互制約，如果發展出超級人工智能大腦，對人類的監管來說是相當不利的，霍金等科學家擔心的也正是這一問題;其次是對人工智能的不對等設計，禁止發展人工智能的一部分能力，只有這樣設計，才能保證人類在發現人工智能的問題時，有能力實現對人工智能的監管。

然而，這些設想還只是對人工智能現階段的推測后給出的辦法，實際上，在人工智能發展的進程中，人類很難人為地阻止人工智能發展某項技能，人工智能之間有著天然的聯系，那么發展出人工智能超腦，似乎也成為一種必然。

“當超級機器人研究出來時，將成為人類歷史上發生過的最好或最壞的事情，把這個問題(掌控人工智能技術的發展方向)弄清楚將具有極大的價值，我們或許將花費幾十年才能找出問題的答案，那么就讓我們從今天開始啟動這項研究，而不是拖到在超級機器人被啟動的前一天晚上。”相信霍金的這段話，將伴隨人工智能發展的全過程。