一般來說,學習的過程往往就是一個不斷犯錯誤,走錯誤道路的過程,然后找出方法來在未來避免這些錯誤。機器學習也不例外。
當你在你的企業中實施機器學習時,要小心:一些技術營銷可能會讓你覺得學習非常正確,速度非常快,這是對技術不切實際的期望。事實是,在機器學習過程中必然會有錯誤。而且這些錯誤至少在一段時間內會在業務流程中被編碼。結果是:這些錯誤可能會大規模發生,而且往往超出了人類的直接控制。
SPR咨詢公司(SPR Consulting)的首席數據科學家Ray Johnson表示:“缺乏盡職調查的熱情可能會導致一些問題,使機器學習的好處無法得到展示。”
檢測和處理機器學習錯誤將有助于您在技術上取得更大的成功,并滿足您的機器學習期望。
以下是一些可能會增加和延長機器學習工具在學習過程中所犯錯誤的問題--他們甚至可能永遠也無法識別和糾正這些錯誤教訓。
缺乏對問題的業務理解會導致機器學習失敗
一些使用機器學習模型的數據工作者并不真正了解機器學習試圖解決的業務問題,這可能會在流程中引入錯誤。
當他的團隊使用機器學習工具時,金融服務網站LendingTree的副總裁兼戰略與分析主管Akshay Tandon鼓勵團隊從一個假設開始聲明。該聲明應該詢問您要解決的問題是什么,以及您要構建哪些模型來解決該問題。
Tandon說,從統計方面來看,今天可用的機器學習工具非常強大。這就給正確地執行它增加了更大的負擔,因為這些強大的工具,如果不小心使用,可能會導致重要的錯誤決策。如果數據分析團隊不夠小心,他們最終可能會得到與團隊所使用的特定數據不匹配的模型。迅速惡化的結果會導致模型很快就可能出錯,他說。
此外,許多商業用戶都不明白,從投入生產的那一刻開始,模型的質量就會有一定程度的下降,Tandon說。如果認識到這一點,就像對待汽車或任何其他機器一樣,用戶就會知道自己需要不斷地監控它,并關注它是如何影響決策的。
低質量的數據會導致機器學習錯誤
進去的是垃圾,出來的也會是垃圾。如果數據質量不夠完善,機器學習也會受到影響。數據質量差是數據管理人員最關心的問題之一,盡管數據科學家和其他從事信息工作的專業人員都有最好的意圖,但它仍然可能危及大數據分析工作。它也會讓機器學習模式偏離軌道。
組織經常高估機器學習算法的彈性,低估不良數據的影響。Johnson說,糟糕的數據質量會產生糟糕的結果,并導致組織做出不明智的業務決策。這些決策的結果將損害業務績效,并使未來的計劃難以獲得支持。
根據過去和現在的經驗,你可以從機器學習驅動的結果中檢測出不好的數據質量,而這些結果似乎毫無意義。
Johnson說,解決這個問題的一種積極主動的方法是探索性的數據分析(EDA)。EDA可以識別基本的數據質量問題,例如離群值、缺失值和不一致的域值。你還可以使用統計抽樣等技術來確定是否有足夠的數據點實例來充分反映人口分布,并定義有關數據質量修正的規則和策略。
機器學習的不當使用
劍橋咨詢公司(Cambridge Consultants)的專業機器學習工程師Sally Epstein表示:“我們仍然從企業中看到的最常見問題是,人們只是為了流行而希望使用機器學習。”但她說,要想取得成功,必須正確應用該工具。而且,傳統的工程方法可能可以更快地提供解決方案,而且成本更低。
Johnson說,當機器學習可能不是解決問題的最佳選擇,并且不完全理解用例時,使用機器學習可能會導致其試圖解決一個錯誤的問題。
此外,解決錯誤的問題也將導致失去機會,因為組織會努力將其用例定制為一個特定的、不合適的模型。這包括在人員和基礎設施部署方面浪費的資源,而這些本來可以使用更簡單的替代方法來實現可能的結果。
為了避免機器學習的錯誤使用,你需要仔細考慮期望的業務結果、問題的復雜性、數據量和屬性的數量。Johnson說,相對簡單的問題,如分類、聚類和使用少量具有一些屬性的數據關聯規則,可以通過視覺或統計分析來解決。在這些情況下,部署機器學習可能需要比常規方法更多的時間和資源。
而當數據量變大時,機器學習可能更合適。但是,已經通過機器學習訓練，然后才發現業務結果尚未明確定義并導致解決錯誤問題的情況也并不罕見。
機器學習模型可能有偏見
使用一個低質量的數據集可能帶來一個誤導性的結論。這不僅會引入不準確性和缺失數據,還會引入對問題的偏見。每個人都會有偏見,所以人們創造或啟發的模型也可能包含偏見。
Epstein說,每種機器學習算法對不平衡的類或分布都有不同的敏感性。Epstein說,如果不解決這些問題,你最終得到的面部識別工具,可能會依賴于皮膚顏色,或者帶有性別偏見。事實上,這已經發生在一些商業服務中了。
結論的準確性-無論是算法的準確性還是個人的準確性-取決于所處理信息的廣度和質量。咨詢公司Deloitte咨詢分析服務領域負責人Vic Katyal說,組織和個人所面臨的因算法偏差帶來的財務、法律和聲譽風險就是為什么任何使用機器學習的公司都應該將道德規范作為組織的必要條件的一個例子。
Katyal說,在公共領域,諸如信用評分、教育課程、招聘和刑事司法判決等方面,算法偏差的跡象已經被充分記錄。收集、整理或應用不當的數據甚至會在設計最完善、目標明確的機器學習應用程序中引入偏差。
他說,帶有固有偏見的機器學習系統會威脅到客戶或社會利益相關者中的弱勢群體,并可能產生或延續不公平的結果。
咨詢公司麥肯錫(McKinsey)在2017年的一份報告中指出,算法偏差是機器學習的最大風險之一,因為它會損害機器學習的真正目的。該公司表示,這是一個經常被忽視的缺陷,它會引發代價高昂的錯誤,如果不加以檢查,可能會將項目和組織拉向完全錯誤的方向。
麥肯錫說,從一開始就有效地解決這一問題將獲得豐厚的回報,使機器學習的真正潛力得到最有效地實現。
沒有充足的資源來做好機器學習
當啟動機器學習計劃時,組織很容易低估人員和基礎設施所需的資源。機器學習可能需要大量的基礎設施,尤其是在圖像、視頻和音頻處理等領域。
Johnson說,如果沒有所需的處理能力,及時開發基于機器學習的解決方案可能是非常困難的,如果非做不可的話。
另外，還存在部署和消耗問題。如果基礎設施不到位,不允許用戶部署和使用結果,那么開發機器學習解決方案有什么用呢?
部署一個可擴展的基礎設施來支持機器學習可能是昂貴的,并且很難維護。但是,有幾種云服務可以提供可擴展的機器學習平臺,可以按需配置。Johnsons說,云方法允許你進行大規模的機器學習實驗,而沒有物理硬件的獲取、配置和部署的束縛。
但一些組織希望自己擁有自己的基礎設施。如果是這樣的話,云服務也可以作為跳板和教育經驗,這樣這些組織在進行大規模投資之前就可以從基礎設施的角度了解需要什么了。
從人才的角度來看,缺乏諸如數據科學家和機器學習工程師等知識型資源也可能會阻礙機器學習的發展和部署。擁有了解機器學習概念,應用程序和可解釋的資源,確定是否實現了特定的業務成果,這一點至關重要。
Johnson說,不要低估擁有豐富機器學習技能的重要性。擁有豐富知識的人員可以幫助識別數據質量問題,確保正確使用和部署機器學習工具,并幫助建立最佳實踐和治理策略。
糟糕的計劃和缺乏治理會破壞機器學習
機器學習的努力可能會以熱情開始,但隨后也會因失去動力而陷入停頓。這是沒有計劃和缺乏治理的表現。
Johnson說,如果沒有適當的指導方針和限制,機器學習的努力將無限期地持續下去,可能會導致巨大的資源支出,而無法帶來任何好處。
組織需要記住,機器學習是一個反復的過程,隨著時間的推移也需要修改模型來支持不斷變化的需求。因此,從事機器學習的人可能會對完成這項工作缺乏興趣,從而導致一個不良的結果。項目發起人可能會轉向其他工作,而機器學習工作最終會停滯不前。
Johnson說,你需要定期監控機器學習的工作,以確保事情能夠順利進行。如果發現進度開始放緩,可能是時候休息一下,并重新檢查一下工作了。
京公網安備 11010502049343號