如果你問了錯問題，你將會得到錯誤的答案。比如金融業中的欺詐識別問題，這個問題最初可能是“這個特定的交易是否存在欺詐”。為了確定這一問題，你將需要一個包含欺詐和非欺詐交易示例的數據集。這個數據集可以在一組專門負責偵測欺詐行為的專家(SME)的幫助下生成。但是，由于專家們依據的是過去對欺詐行為的認識進行的標記，用該數據集訓練的模型只會捕獲符合舊模式欺詐，而對于新興的欺詐方式，這一模型將無法識別。如果將問題改為“這個交易是否反常”，它只需尋找不符合“正常”簽名的交易，依靠人類進一步分析預測的欺詐交易以驗證模型結果即可。但這種方法的副作用是，它很可能會比以前的模型產生更多的誤報。

 

 

我們經常會忽視一個問題：我們費盡心思解決了一個問題，但是解決后是否能實現我們的目的。比如，你想出了用人工智能開發出一個將人的全身照傳上網站就能根據提醒量身定做一套合身的衣服的項目。完成這個項目我們需要完成以下任務：

 

·開發AI/ML技術以確定照片中的身體測量值;

 

·設計并創建一個網站和手機應用，以便與客戶進行互動;

 

·進行可行性研究以確定此產品是否有市場。

 

作為技術專家，我們最熟悉的就是產品設計與編碼，因此我們可能想開始研究前兩個任務。如果我們在執行前兩項任務后進行可行性研究并且研究結果表明我們的產品沒有市場，那將很可怕。

 

 

有一些數據十分敏感并且受到嚴密的保護，對它的訪問可能會受到很大的限制，我們可能獲取不到相關數據。

 

比如，在一些與生命科學領域相關的項目中，由于生命科學行業對存儲和傳輸受保護的健康信息(PHI)非常敏感，大多數可用數據集都會將這些信息刪除。例如，密西西比人比康涅狄格州的人患糖尿病的可能性更高。但是由于這些信息可能無法獲得，我們將無法使用。

 

 

就算你擁有超棒的模型，使用錯誤數據或者有缺陷的數據也可能導致預測錯誤。在監督學習中，我們使用以前標注過的數據，由于這種標簽通常是人做得，可能會存在一些錯誤。舉一個極端的例子，假設有一個具有完美準確性的模型但使用了不準確的數據，如MINIST數據集，圖像的人工標記是100%準確的。現在，假設三分之一的數字被貼錯了標簽，就如古老格言所說的，如果是垃圾輸入，你將得到垃圾輸出。

 

 

從理論上講，你永遠不需要很多的數據(只要它是正確的數據)。在實踐中，即使存儲和計算成本和性能取得了巨大的進步，我們仍然受到時間和空間的物理限制。所以數據科學家最重要的工作之一就是明智地挑選他們認為會對實現精準的模型預測產生影響的數據源。例如，預測嬰兒出生體重。與母親的年齡及住處似乎相關，但與母親的名字可能不相關。在本例中，需要人工干預來確定刪除不相關的數據。在運行模型之前，確定哪些因素相關仍是一個潛在的陷阱，可能會破壞你的數據科學項目。

 

 

如果你有的是一個小型數據科學實踐，你可能別無選擇，只能依賴一個或幾個來執行所有任務。但是，隨著團隊的發展你應該考慮為每項任務聘請專家。特別是對于生物技術、金融等行業擁有專業的領域知識是非常有價值的，甚至是至關重要的。同時，擁有一個主題專家(SME)和具有良好溝通技巧的數據科學家也很重要。隨著你團隊的不斷發展，擁有正確的資源和人才庫是你實踐成功的最重要因素之一。

 

 

舉個例子：你最近派遣團隊在MySQL上進行訓練，他們回來后，你需要設置一個分析管道。由于他們的想法已經被重新訓練，于是他們建議使用他們的新工具。但是，根據管道將要處理的數據量以及你需要對結果執行的分析量，這個選擇可能是對作業的錯誤選擇。許多SQL產品對可以存儲在單個表中的數據量有嚴格的限制。在這種情況下，更好的選擇可能是使用像MongoDB這樣的NoSQL產品或者像AWS Redshift這樣的高度可擴展的列式數據庫。

 

 

“無免費的午餐”(NFL)是數學中的著名定理。它指出沒有一種模型是可以解決所有問題的。例如，在營銷應用程序中，保留客戶電子郵件和地址等屬性可能很重要。而在醫療環境中，患者的身高、體重和血型可能更為重要。這表明在某種情況下運作良好的模型可能在另一種情況下不起作用。所以在數據科學中使用多個模型進行迭代，以找到最合適給定情況的模型是很常見的。在監督學習中更是如此。驗證或交叉驗證通常用于評估不具有復雜性的多個模型的準確性，以找到最合適的模型。此外，一個有效地模型也可以通過多種算法進行訓練—例如，可以使用正規方程(Linear least squares)或使用梯度下降(Gradient descent)來訓練線性回歸。

 

 

在機器學習中，根據對數據的訓練和測試來衡量模型的性能是非常重要的。該信息將用于選擇要使用的模型、超參數和確定模型是否已準備好用于生產使用。為了衡量模型的性能，最重要的是選擇最佳的評估標準來完成手頭的任務。

 

關于度量選擇的文獻有很多，對此不在深入探討，但在選擇指標時要牢記以下一些參數：

 

機器學習問題的類型：監督學習、無監督學習和強化學習。

 

監督學習的類型：二元、分類或回歸。

 

數據集類型：如果數據集不平衡，則不同的度量標準可能更合適。