由于新技術和新方法的出現，機器學習正在經歷一場革命。機器學習是一個使用程序開發功能的過程(例如通過分析數據而不是為確切的步驟編程)把垃圾郵件和可取的郵件區分開來，從而使用戶無需做出關于算法的工作方式的每一個決定。機器學習是一個強大的工具，不僅因為每天有逾百萬人專注于繁瑣的編程步驟，還因為它有時會找到比人工操作更好的解決方案。
機器學習在大多數行業中都得到了應用，在這些行業里，它為現有流程提供了改進的絕佳機會。但是，很多企業都在努力跟上創新。誠然，找到熟練的數據科學家是困難的，但技能短缺并非故事的全部，特別是對于那些已經做出投資但沒有意識到自身潛力的組織來說。最嚴重的障礙與這兩者間的差距有關——有能力實施各種方法的數據科學家和能夠推動必要組織變革的商業領袖。
讓機器學習在組織中取得成功，這需要一個涉及專家和非專業人士的整體戰略。這需要關注組織，分析業務案例，以確定機器學習可以在什么地方增加價值并管理新方法的風險。例如，數據科學團隊可能有興趣使用機器學習，但由于時間限制，風險規避或熟悉度不夠而選擇不這樣做。在這些情況下，更好的方法可能是創建一個單獨的項目，把重點放在未來項目的奠基。一旦該組織有機器學習的實例，未來實施的門檻就會顯著降低。
這意味著組織中的非專業人員需要分擔機器學習的愿景，使其獲得成功，而這始于一種共識。學習蘊藏在數據科學背后的分析和數學需要花費數年時間，但對于業務領導者、分析師和開發人員來說，至少要了解應用該技術的地方，方式以及基本概念。
使用機器學習需要一種別樣的解決問題的方法：讓機器學習算法解決問題。這是熟悉如何通過功能性步驟進行思考的人的思維轉變。需要相信機器學習計劃會產生結果并且需要耐心。
機器學習和深度學習
為什么機器學習如此強大?機器學習的工作有很多不同的流程(有算法推動)，我將在下面詳細討論，但是處于領先地位的流程使用神經網絡，其結構與生物腦的結構相似。神經網絡具有多層連通性，當它有很多復雜層次時，我們就把它稱為深層神經網絡。
深度神經網絡直到最近才取得了有限的成功，當時科學家利用了通常用于顯示3D圖形的GPU，他們意識到GPU具有大量的并行計算能力，并用它們來訓練神經網絡。結果非常有效，以至于現任的數據科學家都措手不及。訓練深度神經網絡的過程稱為深度學習。
深度學習在2012年已經成熟，當時加拿大團隊首次將GPU訓練的神經網絡算法引入重要的圖像識別競賽，并大幅度領先于競爭對手。第二年，60%的參賽作品使用深度學習，次年(2014年)幾乎每一個參賽作品都使用它。
從那以后，我們看到硅谷出現了一些非凡的成功案例，讓谷歌、亞馬遜、貝寶和微軟等公司能夠為客戶提供服務并了解他們的市場。例如，谷歌使用DeepMind系統將數據中心冷卻所需的能源減少了40%。貝寶則用深度學習來檢測欺詐和洗錢。
除了這個重心之外，還有其它一些成功案例。例如，西奈山伊坎醫學院(Icahn School of Medicine at Mount Sinai)利用英偉達的GPU來構建一個名為Deep Patient的工具，該工具可以分析患者的病史，以預測發病前一年內將近80種疾病。日本保險公司AXA采用深度學習模式，將汽車事故預測率從40%提高到78%。
有監督學習和無監督學習
在基本的層面上，有兩種類型的機器學習：有監督學習和無監督學習。有時候這些類型會進一步得到分拆(例如半監督和強化學習)，但本文將重點介紹基礎知識。
在監督學習的情況下，你通過將已知的輸入和輸出傳遞給監督學習來訓練模型進行預測。一旦模型看到了足夠的例子，它就可以從類似的輸入中預測到可能的輸出。
例如，如果你想要一個可以預測某人患病的概率的模型，那么你需要隨機人群的歷史記錄，其中有指示風險因素以及是否患有病癥的記錄。預測的結果再好也好不過用于訓練的數據的質量。數據科學家通常會扣留培訓中的一些數據，并用它來測試預測的準確性。
在無監督學習的情況下，你需要一種算法來查找數據中的模式，而你無法提供示例。在聚類的情況下，算法將數據分類為組。例如，如果你正在進行市場營銷活動，則群集算法可以找到需要不同營銷信息的客戶群，并發現你可能不知道的特有群體。
在關聯的情況下，你希望算法找到描述數據的規則。例如，算法可能已經發現，在周一購買了啤酒的人也購買了尿布。知道了這些信息，你可以在星期一提醒啤酒顧客購買尿布，并嘗試提升特定品牌的銷售。
正如我上面提到的，機器學習的應用除了要理解數學和算法外，還要有一些遠見。他們需要理解業務的人員，理解算法的人員和能夠關注組織的領導者共同努力。
機器學習的流程
機器學習模型的實施除了簡單地執行算法之外還涉及很多步驟。為了流程在組織的規模上工作，業務分析師和開發人員應該參與一些步驟。工作流通常被稱為生命周期，它可以通過以下五個步驟進行總結。請注意，某些步驟不適用于無監督學習。
1.數據收集：要讓深度學習發揮良好的作用，你需要大量準確一致的數據。有時數據要從不同的來源收集并得到關聯。盡管這是第一步，但它往往是最困難的。
2.數據準備：在這一步中，分析人員確定數據的哪些部分成為輸入和輸出。例如，如果你試圖確定客戶取消服務的可能性，那么你可以將單獨的數據集合在一起，挑選模型所需的相關指標，并消除這些指標中的歧義。
3.培訓：這一步由專家接管。他們選擇最好的算法并反復對它進行微調，同時將其預測值與實際值進行比較，以查看它的工作效果。依據學習類型的不同，你可以期望自己會知道其準確性水平。在深度學習的情況下，這一步可能是計算密集型的，它需要占用數小時的GPU時間。
4.推論：如果目標是要讓模型進行預測(例如監督學習)，那么你可以部署模型，以便它對查詢做出快速響應。除了輸出是預測之外，你給它與數據準備期間選擇的輸入相同。
5.反饋：這是一個可選步驟，來自推理的信息用于更新模型，以便提高其準確性。
以下例子顯示了監督學習模型的工作流程的部分內容。Kinetica上的大數據存儲是由GPU加速的數據庫，其中所包含的訓練數據可通過利用數據庫的機器學習特性的模型作為學習步驟的一部分進行訪問。然后將模型部署到生產系統，該系統里的應用程序要求低延遲的回應。來自應用程序的數據被添加到訓練數據集中，以改進模型。
使用正確的分析平臺也很重要，因為一些機器學習工作流可能會在業務用戶和數據科學團隊之間造成瓶頸。例如，像Spark和Hadoop這樣的平臺在開始工作之前可能需要將大量數據移動到GPU處理節點，這可能需要幾分鐘或幾小時的時間，同時限制了業務用戶的可訪問性。像Kinetica這樣的高性能GPU驅動的數據庫可以通過取消數據移動，把處理能力直接帶給數據，以此來加速機器學習的進度。在這種情況下，幾秒鐘內就能返回結果，這些結果會啟用交互式進程。
機器學習算法
在GPU對超深度神經網絡的訓練進行提升之前，這些實施方法由各種算法主導，其中一些算法比計算機的存在還早。由于這些算法的簡單性和速度，它們在很多用例中仍然占有一席之地。很多入門數據科學課程都是從連續變量的預測線性回歸和預測類別的邏輯回歸開始講起的。K-means聚類也是無監督學習的常用算法。
深度神經網絡是深度學習的后盾，它與大多數傳統的機器學習算法有很多相同的應用，但它可以擴展到更復雜的用例。推理相對較快，但培訓是計算密集型的，它通常要占用好幾個小時的GPU時間。
下圖是圖像識別的深度學習模型的圖形表征。在這個例子中，輸入是一個圖像，節點是神經元，它們逐漸挑選出更復雜的特征，直到輸出一個指示結果的代碼為止。
人們把圖像識別的例子稱為卷積神經網絡(CNN)，因為每個神經元都包含圖像蒙版，并使用名為卷積的技術將蒙版應用于圖像數據。還有其它類型的深度神經網絡，例如遞歸神經網絡(RNN)，它可以處理時間序列數據，以進行財務預測和通用的多層網絡，這些網絡可以使用簡單的變量。
我們需要考慮的一個重要問題是，深度神經網絡與很多傳統的機器學習算法不同，它很難進行逆向工程，或不可能進行逆向工程。更重要的是，你并不總能確定推理是如何進行的。這是因為算法可能會在成千上萬個神經元中填充權重，并找到人類無法理解的解決方案。信用評分是一個例子，如果你想了解分數是如何確定的，就不應該在這個例子中使用深度神經網絡。
機器學習框架
從頭開始編寫機器學習模型可能很乏味。為了簡化實施方法，可以使用框架來規避復雜性并減少數據科學家和開發人員的障礙。以下是一些比較流行的機器學習框架。
例如，谷歌提供了一個名為TensorFlow的流行框架，它以支持圖像和語音識別的能力而聞名，并在TensorBoard中提供了一系列模型可視化工具。
TensorFlow的設計目的是使并行和多GPU上的深度神經網絡更容易訓練，但它也支持傳統的算法。它可以與大數據平臺(如Hadoop和Spark)一起使用，以實現大規模并行工作負載。在數據移動可能成為瓶頸的情況下，Kinetica平臺使用本地的TensorFlow集成，把GPU加速的工作負載直接帶給大數據集。
TensorFlow在模型(稱為估計器)和算法(稱為優化器)之間進行抽象，它可以讓用戶在訓練模型時從多種算法中進行選擇。例如，專家可以以簡單線性回歸作為算法來編寫監督學習模型，然后將其與深度神經網絡算法進行比較。
歷史重演
機器學習的興起與互聯網的興起有著驚人的相似之處。這兩項研究數十年來都是由大學研究人員展開的，并得到了有限的商業使用。互聯網基于1969年啟動的一個網絡，它在90年代已經成熟，這些網絡擾亂了有這種在位企業的行業——反應遲鈍，直到業務被邊緣化?，F在和互聯網一同崛起的公司都在引領機器學習的發展，而在位的公司則試圖了解其重要性，并從數據科學投資中提取價值。
任何讓組織洞察業務的軟件項目都需要業務用戶和具備將業務需求轉換為代碼的技能的人員之間的密切參與。大多數投資了軟件的組織都熟悉這種模式。一個關鍵的區別是，雖然機器學習需要對問題進行定義，但它的目的是尋找解決方案。
機器學習的廣泛采用要求業務分析師和軟件開發人員在與數據科學團隊進行交流時至少了解黑匣子級別(black-box level)的知識。還要求業務領導者了解如何通過機器學習解決以前通過認真定義的規則解決的問題，從而實現價值。成功使用機器學習并不需要大多數人來了解機器學習的細節。但是他們需要足夠的了解，這樣才能向數據科學專家提出正確的問題。
作者簡介：
Chad Juliano是Kinetica的高級解決方案架構師。此前，Chad是甲骨文的高級首席顧問。在加入甲骨文之前，他曾在Quorum Business Solutions擔任軟件工程師。Chad還在門戶軟件方面有過經驗。Chad在達拉斯的南衛理公會大學獲得電氣工程和數學雙學位。
版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號