以下是現場速記。
雪松控股集團CIO 李洋
李洋:謝謝主持人,謝謝在座的各位CIO、各位領導,各位嘉賓!首先非常感謝企業網的范總、曹總和會務人員給我們提供這么好的平臺。
第二,今天下午講確實比較困難一點,大家比較困,我也是剛睡醒。但是今天在海拔比較高的CIO大會上,從上午來看我們的主題上都是比較高的這種高度,然后比較高的規格,所以下午第一個演講我就跟大家分享一下,我們這個數字化轉型當中,不可不知的人工智能的原生安全。
第一,分享在談數字化轉型、新基建、人工智能時代,到底人工智能發展脈絡和現在這個步調是什么樣的?
第二,我們更加的聚焦講一下人工智能與數字化轉型,包括新基建、金融科技,很多的產業是什么樣的關系。
第三,是我們的重點,從戰略的維度也好,從CIO的思維,從我們的風控的角度來談一下我們的人工智能原生安全。
第四,以前面三塊為基礎來分享整個數字化轉型的三維思考,我們把人工智能的原生安全推廣到整個科技的安全,推廣到整個數字化轉型。
我們先跟大家分享一下人工智能的發展。無論什么大會講都離不開國家的安全,這是整個國家包括我們的習主席,我們的國家負責人,也是一直在大力倡導整個人工智能、大數據包括云計算等新興的科技在不同產業經濟的推動。從我們的人工智能來講,我們國家制定了新一代的人工智能發展規劃,大家可以從右邊很清楚的看到,我們想在2030年達到人工智能發達國家的水平,其實這個還是非常有難度的。可能從各位CIO,包括像我們30多個省市、自治區來看,我們可以關注可以查一下政府網站,發現基本每個省市、直轄市都制定了人工智能的三年規劃。在這個里面,廣東走得比較超前也好或者邁步邁的比較瘋狂也好,它制定了將近十年的規劃,大家可以關注一下。這從側面反應了人工智能發展的趨勢是深入人心的。
我們聚焦這個行業,人工智能從什么時候發展起來的?可以追溯到1942年,最受大家關注的是所謂的達特茅斯會議,當時有所謂的三巨頭,大家可以讀一下整個人工智能的發展史。比如說我們的各位,包括可能也有CEO、總經理、CIO,如果人工智能這種發展還沒有了解清楚,可能對于后面的相關工作開展可能有有一定的阻礙。這個里面從這幅圖來看,我們不斷的波峰波谷出現人工智能的高峰時期,這種應用的高峰時期,因為它都是以很多的焦點事件來推動的。比如像阿爾法狗,尤其到16年,我們現在來看的阿爾法狗戰勝了圍棋大師。包括上午微軟大師也在講,微軟亞洲研發院也在開發人工打麻將,近期我們人工智能的叫深度學習這塊領域,發展得特別的快。確實也出現了一些焦點性的事件,但是它到底是不是那么的智能?達到我們中文所講的智慧階段?這個后面我們會來提。
我們再把這個視角放得聚焦一點,從國家到行業,再到人工智能所涉及到的這些技術。這里我不會談太多技術,只是說大家耳熟能詳的,基本可以把它分為弱人工智能和強人工智能,在李開復一本書里提到超人工智能,我想大家都很難看到超人工智能。但是我們希望我們的下一輩,我們的后代的后代能夠看到。
我們談AI,很多東西就是叫機器學習,機器學習包括像傳統的機器學習、深度學習,包括微眾銀行、學術機構包括像一些企業都在研究監督、無監督、半監督,包括像一些強化學習還有一些遷移學習,大家也看到了很多的書籍,這些都還屬于弱人工智能的階段。包括大家可能看到的買的特斯拉,包括像李彥宏在長沙搞的無人車的實驗基地,這個思想往這種強人工智能去過度。現在從整個的發展來看還達不到這個程度,還是相對于我們的人的智能來講還是相對比較弱,只不過我們看到的一些階段性的發現的令大家感覺到比較興奮的一些結果,總比以前很笨的,很難用機器幫我們解決的問題,現在得到一定程度上還有一定條件下的滿足,所以我們覺得這個行業,這個方向還是沒有問題的。
有了人工智能的整個的發展一個脈絡,我們來看一下,我們現在在座的CIO、CEO我們的企業高管,我們所關注的人工智能到底是什么?我們可能還不會太關注它的一些技術,但是也不排除。因為今天上午國家信息中心的主任,作為CTO談到了人工智能技術。從我們CIO包括CTO更多看到的是大的方向,這個后面我們也會提到。
數字化轉型,雷總也號召很多CIO寫了一本《數字化轉型白皮書》。其實人工智能和數字化轉型也是很大的關系,尤其是人工智能是數字化轉型里面,我們可能可以去使用的或者我們去利用的一個機制或者說這么一種手段。我們現在談人工智能與新基建,新基建、內循環都是熱詞,我們在干什么?我們在這個智能里面,石化主任弄的智能機器助理李小帥里面講的比較概括到位,新基建里七大領域四大領域跟科技相關,其他的三大領域跟人工智能或多或少脫離不了關系,說白了他們之間相輔相成,是相互滲透在里面的。包括像大數據、5G,包括像工業互聯網,我們現在叫智慧或者叫智能這種工業互聯網。人工智能與新基建有著非常緊密的關系。
因為我也是從事金融科技很多年,所以大家也在一直看這個金融科技行業,金融科技當中也用到了很多的人工智能。像跟我們大家生活息息相關的,比如大家要做金融管理、財富管理,肯定有一些智能投顧,里面要上網上銀行,大家會遇到智能客服。比如說如果你現在要去炒這個數字貨幣,里面也會有一些像人工智能的算法,輔助你來進行這個業務。包括IBM量子計算等都在這個里面。其實我們所使用的這種金融服務,像保險、銀行、證券、基金、期貨,這些里面無不滲透著我們的人工智能這些元素。
我們在座的高管還是要落地,我們做的很多事情要落地,我們來看人工智能與一些前沿科技的關系。好像上午有一位專家也提到了,我們會把這個東西概括為“A、B、C、D、E、S”,其實都很相關。A就是人工智能、B是區塊鏈、C是云計算、D是大數據、E是安全生態。S是從今天一開場信息中心的李總從S開的頭,但是S我們今天還不能夠用非常窄的限定在一個領域,包括我們講的6S里面的S,就是人工智能里面它里面還包括風控都屬于S的范圍,這個是人工智能與其他前沿科技我們的一些關系。
我們切入正題,因為下午怕大家睡著。這幅圖第一個是因為我們這次大會是在我們的藏族自治區舉行,昨天我和我的同事出去散步的時候,我看曹總等好多老總都在廣場上跳舞看這個節目,我問了一下藏族人民最懷念的是哪一位領袖?藏族同胞告訴我是毛主席,這一頁首先致敬毛主席,也向藏族同胞表示一下我們的支持。
跟我們后面有什么關系?我們在講人工智能原生安全的時候,我們希望無論我們的發現、我們后面的問題以及后面解決問題的辦法,我們不是憑空而來的,就像毛主席講的,我們很多正確思想,包括我們做數字化轉型的思想和數字化轉型的理念,包括方式、方法是從哪里來的?一定是從我們整個的業務運營包括像我們的一些實驗和論證,這種過程當中產生的。所以我想以這個開始人工智能的原生安全的講解。
第一個我們會發現,我們出現了很多的安全事件都是跟人工智能相關的。
第一個,特斯拉,我們的無人車或者現在還不能說是完全的無人駕駛,它只是說有人在里面的時候叫輔助駕駛,真的出現特殊情況可能會要接管控制權。我們看特斯拉難以辨別路邊的物體,撞上了靜止的消防車。
另外炒菜機器人很難分清洗潔精和正常的開水或者純凈水、自來水,他可能會拿洗潔精泡茶或飲用。
第三塊是掃地機器人被黑客劫持,不會完成預先設置的工作,它會打人甚至虐打小孩,這都是在特定環境里面出現的。
講幾個大家接受起來比較痛苦的,就像近兩年出現的波音的737Max8相應的駕駛,由于它飛機在起飛的過程中與地斜面角超過一定程度,它的軟件系統即所謂的人工智能系統就會過來接管要接管控制權,它就會把它強制按下去,使其恢復平穩的狀態。但是它忽略了情況,包括它是不是在上升?所以導致了很多的安全事件的發生。
第二個,Uber無人駕駛測試車撞死行人事故。前面我提到了李彥宏在長沙專門搞了這樣的無人駕駛的測試園區,這個責任誰都負不起,一出了問題就是生死攸關的大問題。
第三個,數據安全問題。包括隱私,包括大規模的數據泄漏。因為我們在做人工智能算法和模型的訓練,和我們需要完成人工智能任務的時候它需要大量數據的匯聚。但是一旦這些數據匯聚沒有相應機制和手段防護就會導致它衍生出來數據泄漏問題的發生,后面我會對其進行歸類。
還有一個大家體會可能有一點深刻但是可能不是每天接觸到,有點類似于工信部老是在防的垃圾短信和企業防的垃圾郵件。但是現在AI機器人的這種垃圾電話也是非常泛濫的,大家可能在開會的時候突然有一個電話打過來,對方音色都很好,節奏都把握很好,但是你跟它對話的時候,就有點文不對題,它老在重復。這些情況如果大家在心情舒暢的時候還是比較好的,但是如果大家設想一下,如果你在一個高速公路上開車的時候,你正在跟家人發生爭執的時候,甚至看電影的時候你接到這樣的電話是不是感覺到很憤怒?甚至使得你產生過激的情況。我們在很多金融行業已經發現了,就是AI機器人電話泛濫,導致對人類進行騷擾。
前面我們講了很多慘淡的事件,可能給大家撲了冷水,人工智能現在這么提倡,但是又說這么多負面問題。到底怎么辦?我們CIO怎么辦?我們怎么去說服CEO?你到底這個東西能不能干?還是從一開始就放棄?在這個AI狂熱發展的時代,很多安全問題給我們敲響了警鐘,但是這些問題不是沒辦法解決的。
我們所謂的要解決問題,首先要看到問題的全貌。可能不能夠斷章取義,或者說看到出現了某些苗頭,出現了我們看到的一些問題的時候馬上就去用一些辦法去做,這樣會導致我們解決問題不是那么系統和全面,也會使得我們投入產出,包括科技、數據部門也好,很容易被CEO或者董事會質疑,就是你的AI怎么樣,你怎么保證你每年的投入產出延續性?是不是今年做了,明年突然又出現了一個別的智能?別的數據?今天說大數據還是說小數據,今天有區塊鏈明天是不是有別的鏈產生?今天云計算明天提物計算?怎么保證我的投資長期來說有保障和有收益的。
我們從AI這塊來講怎么來看待這個問題?我們中國人強調八卦和平衡,陰陽平衡。我們就從兩個方面來講:
原生安全包括兩部分,一部分是內生,一部分是外生。
首先,我們講內生安全。內生安全包括像AI代碼包括數據完整性,我們有模型的完整性,如果從行業來講就是模型的可解釋性。比如我們神經網絡是不是可解釋?可解釋才可預期,不可解釋就無法掌控它。基本上這幾塊就構成了我們的內生,后面我會做一個書面的明確的定義。
第二,相對來說,就是外生安全。今天講的像數據的安全、應用的安全、網絡的安全、系統的安全、物理的安全,當然這是與人工智能相關的層面的安全。這些都是外生,它不是與生俱來的,它因為我們在部署人工智能的系統,我們在應用人工智能的系統和應用的時候衍生出來的,它不是與生俱來的。
我就把這些概念更加細化了,像這些概念,我在北上廣講這種概念講了很多遍了。原生,給大家舉例子,是初始未經修飾的最初,大家都聽過安卓原生,那都是所謂的叫原生。內生就是指的由AI的本身機制引起的,它是一種叫與生俱來的。比如我的模型本身出現這么一些偏差,出現這么一些問題,比如把貓食變成了狗食,然后把奧巴馬識別成了特朗普。這是內生問題。
外生是除了AI機制本身之外的,我們所說的導致的問題。前面講的AI數據的泛濫和大批量的泄漏導致CIO、CEO下課。
包括我們前面提到的,比如把它用到AI電話詐騙或者AI電話泛濫,這是由于我們在使用過程當中沒有去約束它,沒有對它進行很好的包括像制度也好、技術也好、國家層面也好的管束,它是屬于一種外生。
內生這里講得再詳細一點,這里不做細化,我們有一本書來講這個事情。包括代碼安全、數據完整性、模型保密性、模型魯棒性。模型保密性很重要,它不會把算法公布給別人。很多這種國外的專家說,你不應該對這些騷擾進行保密,否則很難說明這些騷擾是比較魯棒的。如果對模型保密,至少能夠給非法想去直接獲取這個模型的人,給他制造一定的難度。從我們的代價來講,其實給他有了一定的阻礙。所以在這里我們強調一下,模型的保密性,在這個AI里面來講還是非常重要的。
大家可以看到,我們去年底在湖南搞了一個湖湘杯,搞了線上的對抗賽,就是基于人工智能,人+工具去對抗一個網站也好、系統也好,在那邊可能它也用了比如我們的攻防對抗紅藍軍人員,另外他也用了自動化腳本、自動化工具即AI工具,這一塊得到了整個業界很大的應用,和大家都在關注這個事情。
內生安全典型工具方式,我們要解決這個問題還是要知道它可能在什么情況下會發生問題,包括像后門攻擊、閃避攻擊、模型竊取攻擊、誘餌攻擊。開發商留下后門之后,某些情況會控制我們的系統、設備、網絡,其實我們這個高層在這種比較嚴峻的網絡環境下,尤其是像提自主管控,我們都是比較關注的。
內生安全事件,前面講了,現在時間原因不多講了。這里告訴大家,我們有很多防御技術。前面在平安,我們跟華為,跟360都有一些探討,我們在很多競賽、標準方面,有很多的一些產出。
這個是我們當時在平安專門成立的一個研究院,我們跟騰訊、阿里他們都有一個研究院,他們搞的CVE的網上風險漏洞庫,我們提交了很多漏洞,我們主要挖掘出來像美國谷歌他們自己開發的人工智能的框架自身存在的漏洞,但是這些漏洞說實話,我們現在很多國內開源的系統包括像我們很多大的企業都還在用,所以說這是我今天要提醒大家的 ,一定要關注這一塊的風險。
外生安全包括物理層、數據層、網絡層,這一塊可以通過像等保、ISO系列,比如要拿一些證書,這些標準的體系里面其實在這一塊都有些界定。但是提醒一點,我們主要還是考量AI系統或者應用在這幾個方面的一些風險,而不是考慮泛泛的。其實我們發現為什么國家的這種標準、體制也在不斷的健全?就是說對這種新興應用的這些管制,包括像這種指導也會越來越有針對性,而以前來說都是比較寬泛的。
這是我們的外生安全的事件,這里不多講了。
對未來的新思考,前面來講,我們雖然發現這么多風險,但是我們不需要因噎廢食,比如我們在AI上要有一些建樹,尤其它是可健康、可持續的發展。這里提一些建議:
第一,拓寬人工智能在各行業的應用,這個還是業務為先的。
第二,我們要建立完善的數據生態系統。數據安全包括像數據生態、數據治理,在金融科技、在近期國家有關部委,像國企頒發的關于加快數字化轉型一些方面的工作指導意見里面明確提到了這一塊。
還有建立人工智能應用標準,這一塊我們也是做加強人工智能專業、人才儲備,包括要解決的安全問題同時可能要帶來新的風控的、CIO或者CDO、CEO看問題的層面,可能我們要從兩面去看。一方面要快速的落地我們的信息化、數字化的應用,使用人工智能。另一方面要切實關注它可能同時帶來的一些風險。可能我們需要在全行業來建立AI安全的預警平臺。
最后一部分,跟大家分享一下基于前面講的,我們把這個思維再拓寬一點。我們可能不僅限于人工智能,因為可能到了明年可能又會出現新的技術,又有一些新的方式、方法,是不是我們就老是在這個后面去追?去研究?去改進?我們的CIO就顧此失彼了。我們要怎么樣?可能我們要認識這個背后的真相,我們怎么去統籌這個事情?
要統籌這個事情需要看一看這個時代的演進,前面大家提到了DT。首先我們是信息化時代,我們叫信息科技,現在我們說一個數字化、智能化,我們叫Data Technology,我們跟領導聊的時候一上來問院士,你們覺得人工智能用這么多,現在到處都是機器人,人到底從倫理、危險性,從被替代性方面有沒有危險?人會不會失去對整個的控制權?他說,下一個時代是一個什么樣的時代?其實我們可以很清醒的講,現在的數字化、智能化時代還只是弱人工智能的時代,可能未來我們是智慧化,如果真的要進化的話,其實我們現在提的很多像智慧城市也好、智慧醫療、智慧金融,其實從中文上來講還是不確切的,我們頂多可能叫智能而不能夠叫智慧,智慧是可以自學習、自演進,不斷像人這樣可以不斷的通過掌握一些系統化的東西,我們可以去學習,可以去觸類旁通,舉一反三的,而不會像弱人工智能這樣,只能限定在某些領域,它還不能到很通用的領域,都是在比較限定的領域。
這一塊我們回到大會主題,前面講人工智能,我們這個CIO、CEO要怎么考慮這些問題?又有安全問題,又不能夠不用,還是要往前走。我去年在金融展上也提出這么一些方法:我們叫一橫三縱,我們的CIO、CEO、相應的科技主管,一定要抓住這一點。一橫是行業和業務,包括我們的IT戰略、IT規劃,我們一定是不能夠脫離我們的業務,所以這一塊我們是一橫。三縱,第一個是大家可能比較關注科技,人工智能、區塊鏈,好像我們覺得我們不用別人用了,我們就low一點,可能大家對我們的感知度沒有那么高,確實有這種情況。一方面我們還是要加深我們對科技的理解,然后把科技的工作落地,但是這個當中我們要考慮兩個環節:首先是風險即風控,我們要做好這種安全風控。
科技可能到時候可以作為進攻的角色,驅動業務或者引領業務也好,作為足球比賽或者籃球比賽我們是一個進攻方,但是安全從負面來講我們是一個防守方。像世界杯的球隊或者NBA球隊要獲得總冠軍只有進攻沒有防守是不行的,在互聯網時代我們的防守有的時候就是一票否決。像國外的行業就是因為數據安全泄漏風險沒有做好,導致它在行業里面失去了龍頭甚至失去了行業準入的基礎了。
最后一塊就是生態。我們的生態可能就是新生態,我們需要構建共生共融的生態。在生態這一塊,這個是我們以前的一些經驗,包括這個大會是生態里很好的體現。相當于我們今天過來的很多供應商或者服務提供商,它不是傳統的甲方和乙方的這么一個地位了,它更多的是要根據數字化轉型、IT戰略、業務戰略需求,需要給我們提供很多定制化、個性化,甚至有了某些龍頭企業定制化服務,使得整個產品在某個行業處于領先地位。所以這個生態,我們很難去說到底是甲方還是乙方,包括國家、政府、協會包括企業網很多都是我們生態里面的一環。
最后,《金融安全3.0》書里提到了科技和科技安全。
今天講到這里,謝謝大家!