盡管當時領英已經成立,但我卻沒有聽過這個平臺。我當時做了什么呢?我開始聯系自己身邊的朋友和曾經的老板,參加了一場接一場的招聘面試,最終那年年末,我在雅虎研究院找到了工作。這是我在科技行業職業發展的起點。
我分享自己故事的原因是,它和很多領英會員的故事十分類似:我在自己的人際關系網中找到機會。領英的愿景就是促進大規模的經濟流動。我們希望連接全球職場人士,為每一位會員都創造經濟機會。為了踐行這一宏大的愿景,我們采用人工智能幫助會員匹配合適的求職崗位,為客戶篩選理想求職者。在人工智能的協助下,我們能夠將海量數據轉化為洞察,包括招聘職位、希望建立的人脈、信息流內容等,根據會員的興趣提供高效精準的推薦。
多年來,我們一直把人工智能應用到我們的產品和服務中,我們也曾在博客中談到過人工智能在領英的幾個具體應用案例。在本博文中,我會更深層次地談談我們是如何應用人工智能來改善會員和客戶體驗的。由于人工智能技術在不斷發展進步,它在領英的應用已經無處不在,而不僅僅局限于一兩個應用。全面觀察人工智能在領英的應用將有助于展現并解釋人工智能是如何融入到領英的方方面面中。
什么是人工智能?
根據基本定義,人工智能(AI)是構建智能計算機程序的科學和工程,可以實現復雜的目標,例如駕駛汽車,識別圖像中的一只貓,或向你推薦可能感興趣的工作。廣義的人工智能下有多個專業分支,例如機器學習和深度學習等等。
為了了解人工智能系統如何幫助我們實現目標,需要首先了解人工智能算法的基本原理。
首先需要為人工智能系統定義一個寬泛的目標,例如為“為會員提供符合其技能和興趣的工作機會”或者“為招聘者提供滿足搜索標準、同時符合招聘要求的求職者名單”。
接著建立一套中間指標(圖1中的“相關度”指標),用以衡量系統在多大程度上實現了這一目標。這是必要的步驟,因為機器學習算法很難直接優化最原始的指標(例如:招聘成功)。在領英,此類指標一般包括申請職位的會員數量、成功招聘的數量、點擊職位列表的會員數量等等。
然后根據相關指標開發一種算法,它可以改進現有的依靠數據獲得結果的方法。例如,某一模型采用了一個不同的標準向會員進行職位推薦,從而增加了求職列表中的會員點擊數,這表明職位推薦算法得到了改善。
最后,采用科學方法測試算法、調整算法,以及通過相互比較不同的算法進而確定哪種系統變更能夠實現最佳成果。以下的A/B測試可以作為一個例子。
對于每一個應用人工智能的企業來說,確保采用正確的指標十分重要。例如,當企業想增加職位推薦的互動時,就可能由于推薦的職位過多而破壞了用戶體驗,尤其是那些并不想找新工作的會員。同樣的,一般會員們并不想花費過多時間去申請錄用幾率渺茫的工作。領英的一個關鍵策略是:采用一個最優化、整體而全面的機器學習算法,可以讓客戶和會員的體驗得到同時優化,包括動態內容和職位推薦,以及向招聘者提供求職者搜索結果。了解此項研究的更多詳情,大家可以通過觀看KDD’14視頻,了解關于這項研究的更多信息,同時通過另一篇博客文章,了解如何應用于會員的信息流推送功能中。
另一個值得關注的點是,要及時對會員的反饋做出反應。無論反饋是來自A/B測試,還是來自訪談和小組座談會,通過多種方式做出反饋是與長期的成功同等重要的。
領英如何使用人工智能?
人工智能支持著領英的方方面面。會員每一天的使用過程中都蘊含了人工智能的成果,例如向其推送合適的職位和聯系人,或者在信息流中提供有價值的內容。我們在針對企業客戶的產品中也應用了人工智能,例如幫助銷售人員預測客戶的反饋、向會員提供精準的廣告服務,或者幫助招聘人員找到新的人才庫。我們在后臺也采用人工智能技術,例如確保會員不受有害內容干擾,自動尋找最佳連接點以提高網站接入速度,并確保向會員推送有價值而不是令人感到厭煩的通知。
人機結合,最大限度地利用大數據
很多人認為,人工智能是一個不需要人力投入、完全自動化的流程。實際上,我們人工智能系統中所使用的非常多的數據,以及人工智能系統的部署方式都依賴于人力的投入。以領英檔案數據為例,幾乎所有會員數據都是由會員自己自行輸入的。因此,同一個職位在一家公司可能稱為“資深軟件工程師”,而在另一家公司則稱為“研發負責人”。匯總上百萬份會員檔案后,你會發現,在職位名稱錯綜復雜的情況下為招聘者提供良好的搜索體驗是一件極具挑戰的事情。將數據標準化成人工智能系統可以理解的形式是打造良好搜索體驗非常重要的第一步,而這一過程需要人工和機器的共同努力。我們的分類學家創建了職位分類體系,然后采用機器學習模型(LSTM模型、其他神經網絡等等)進一步將大量職位進行關聯。了解這些關聯后,我們就可以進一步推斷出每名會員在檔案內容之外具備的深層次技能;例如,具有“機器學習”技能的會員同時也了解“人工智能”。這就是構建領英知識圖譜分類和關聯體系的一個實例。
從這里可以看出,我們的人工智能方法既不是徹底的機器驅動,也不是徹底的人工驅動,而是二者的結合。我們認為,機器和人工密切協作才是最好的解決方案。
深度學習促進個性化和內容理解
為了向會員提供個性化服務,我們需要采用能夠從多角度理解內容的機器學習算法。將機器學習與會員意圖信號、檔案數據和會員人脈網絡信息結合起來,我們就能實現會員推薦和搜索結果的高度個性化。
我們廣泛采用了機器學習的一個分支—深度學習,這是一種能夠使用多層神經網絡自動學習復雜層級結構,從而理解各種類型的內容的算法。我們在廣義線性混合效應模型(GLMix)的基礎上開發了全新類型的機器學習模型,將來自不同渠道的數據結合起來為會員提供個性化服務。
另外,深度學習方法還可以高效地識別暫存、時序和空間數據中的非線性規律。我們針對大部分自然語言處理和計算機視覺任務采用三大類深度學習方法:即上述的LSTM、CNN和序列到序列模型。對于某些指導性學習任務,我們還會在必要時采用典型多層感知器。
人工智能開始被大規模地使用
開發和啟動人工智能系統是一項巨大的挑戰。幾年前,當我入職領英的人工智能團隊時,我們已經從多個渠道積累了大量數據,這也為我們創建人工智能提供了方便。但是我們接下來仍然面臨雙重挑戰:全球人工智能人才短缺,如何擴大我們的人才隊伍;如何擴展基礎架構以部署那些需要大量計算和處理大規模數據的系統。在當今的科技行業中,很多公司依舊面臨著類似挑戰。
擴大人才隊伍
為了擴大人工智能工程師、統計師和數據科學家隊伍,我們采用了集中式組織模式,在保持人工智能團隊內部匯報關系的情況下,分配我們的專家進駐到不同產品團隊中。我們因而能夠有獨特的跨部門合作機會,在為整個會員體驗解決問題的同時,在產品層面對機器學習問題進行更多本地優化工作。在集中式組織體系下,我們的工程師經常就各個不同項目開展合作,并輕松地分享知識。
領英人工智能學院是另一個為公司全體員工提供學習機會的計劃,學院培訓涵蓋工程、產品管理等領域。他們在學院學到的知識幫助他們更加高效地為會員提供影響深遠的人工智能體驗。例如,一名工程師可以參與每周一天、共計五次的深度課程,然后參與核心人工智能團隊的一月學徒培訓。學員通過培訓將學到如何從接入、維護人工智能系統,到為團隊實際交付一個人工智能系統的知識。對產品經理和公司高管來說,可以參加為期一天的深度課程,課程專注于他們管理人工智能產品所需的特定領域知識。
一個可以培訓并部署任何人工智能模型的平臺
每個人工智能系統都只可利用特定類型的數據,這種限制是由模型中內置的 "特征" 所決定的。這些“特征”指出了可以幫助我們為用戶做出更好推薦的不同信息。例如,你的職位頭銜可以作為一個特征,利用它來匹配未來的新工作機會。我們的專家和A/B測試框架教給人工智能系統如何使用這些特征,根據已有數據來推送更適合的推薦信息,例如使用“實習生”職位的用戶更關注初級開發工程師信息,而非高級開發工程師。
這項工作非常耗時。在領英,我們為多項產品開發了數百個模型及數十萬個特征。我們由此建立了名為Pro-ML的“人工智能自動化”平臺,通過一個統一的系統為所有工程團隊集中管理這些特征和機器學習模型。這一系統為機器學習模型的整個開發、培訓、部署、測試的生命周期提供單一化平臺,已經極大加快了領英開發及上線新產品的速度。
擴展我們的基礎架構
在數據基礎架構方面,領英在該領域的創新有著悠久的歷史。
例如,我們將著名的數據消息系統Kafka作為管理領英所有信息的“中央神經系統”。我們擁有自己的流處理框架Samza,它采用開源結構,也為世界上的其他企業所使用。除上述流數據系統外,我們還為Hadoop生態系統及其他各種類型的項目做出了貢獻,其中包括Ambry。我們還貢獻了新的開源項目,從而加速Spark機器學習的應用案例。
我們同時也在自己的項目中使用各種開源軟件。例如,我們在深度學習流程中廣泛地使用了谷歌打造的TensorFlow。我們在數據處理中廣泛使用Spark和Scala,在數據分析中使用Pig和Hive。
除上述開源創新外,我們近期還與微軟開展合作,從而利用Azure云平臺上的人工智能服務。例如,正如上篇博文所述,我們采用微軟文本分析API對推送內容進行動態翻譯。
魔法成真
人工智能就像是領英的氧氣,它是我們一切工作的驅動力。為什么我們會認為我們所作的所有事情都將受益于人工智能?原因如下:
領英的人工智能系統為那些正在找工作的會員提供了極大的幫助。自領英上線了一個新的為會員推送“可能感興趣的職位”的個性化人工智能模型之后,工作職位申請數量隨之增長了30%。
領英同時為會員和招聘專員提供了很多人工智能技術驅動下的用戶體驗優化和產品更新,從而使工作職位申請量實現了40%的年度增長。
通過利用人工智能改進的領英招聘解決方案已經使招聘站內信的回復率提高了45%,同時還減少了我們向會員短信推送的數量。
人工智能成功地優化了領英主頁上會員的文章閱讀體驗,文章的點擊率提高了10-20%。
領英中國:共赴愿景
作為全球領先的職場社交平臺,領英一向致力于連接全球職場人士,并協助他們事半功倍、發揮所長。領英的愿景就是為全球30億勞動力中的每一位都創造經濟機會,進而繪制世界首個經濟圖譜。
中國無疑是這一愿景中極為重要的一部分。為了更好地連接中國4,400萬用戶,向他們提供全球化的發展平臺,助力他們實現職業理想,我們構建了一支60余人的國際化研發團隊,在硅谷和北京兩地以“One Team”的形式高效協作:20余名常駐硅谷的工程師實時分享總部最新產品計劃和資源;超過40名常駐北京的工程師專攻適合本地會員的產品與服務;兩地團隊的工作無縫銜接。“One Team”的研發形式滿足了從資源層面到人員層面的交流共享需求,保證在緊跟全球最新技術趨勢的同時,實現產品本地化,從而實現領英的終極愿景。
值得驕傲的是,在這60人的團隊中,五分之一的成員為女性工程師,這和領英一貫秉承的“多樣性”文化相契合。為了助力女性職業發展,領英還通過Women In Tech、Women at LinkedIn等活動,培養年輕女性對科學、技術、工程和數學類職業 (STEM) 的興趣。此外,領英中國通過開放、多元、包容的工作環境為員工創造了自由的辦公空間、完善的配套設備。我們鼓勵平衡工作和生活,將優秀的工程師文化和前沿的全球視角帶入國內;我們支持員工學習和深造,通過主辦Learning InDay等企業文化活動,鼓勵員工提升更廣泛的技能、開拓更廣闊的自我發展空間。