那么，對臟數據到底如何處理呢?第一步是理解和解讀傳感器輸出的數據。傳感器數據的準確度往往是相對的，而不是絕對正確。現實世界中的傳感器讀取數據并非完美。

傳感器制造商關注的是噪聲、濾波器和算法這些基本問題，并給系統設計人員提供了相應的幫助性工具。一些系統設計者和平臺供應商則站在系統用戶端的視角上，關注的是填入其數據庫中的數據是否有效，它們提供了一個監測工具來幫助鑒別數據是否出現錯誤。

“我在模擬信號鏈路中發現了臟數據，數字鏈路的數據是干凈的，”TT Electronics的Pohlen說道。“許多不同的源頭都會誘發噪聲。你可以在線束中拾取電噪聲，性能變壞的元件也會產生電氣噪聲。”

在Pohlen眼中，由某種對實際感應機制的外部影響造成的噪聲不算是臟數據。“比如，對于一個光傳感器，如果有一個環境光源的話，不能因為它給出的數據不是你真正想要測量的，就認為那是臟數據，因為不管是不是自然光源，它確實正確地測量了光強度。”

未經校準的傳感器通常會比校準過的傳感器產生更多臟數據。“我們通常所說的臟數據基本上是指未經校準的原始傳感器數據，以及信號上有很多噪聲的數據。”意法半導體的Chowdhary說。“除了使用某些現象機制感應信號的物理元件，比如測量科里奧利加速度以檢測設備、人或者手機的旋轉，系統里還有信號調理單元。這些信號調理模塊可以工作在不同條件下，也可以在低功耗模式下工作，以盡量降低傳感器的電流消耗。但是，如果工作在低功耗模式，傳感器數據的噪聲就會增加，因為顯而易見的是，用于信號調理的功耗越大，數據就越干凈。”

“考慮到所有這些不同層面，我們可以給臟數據下個定義，即未經校準的傳感器輸出的數據以及受到噪聲影響的傳感器數據，無論噪聲來自于信號調理模塊還是外部干擾，”Chowdhary說。 他將外部干擾(例如當磁力計受外部磁場影響時)也歸類到了臟數據中。

即便是在同一批傳感器中，不同傳感器也可能存在制造上的差異。一旦被部署到應用現場，傳感器就可能會損壞。比如，地勤人員可能會損壞飛機的傳感器，甚至包括至關重要的迎角傳感器。傳感器可能會老化、性能變差，所以需要定期重新校準。

可以站在企業的角度來理解數據。“在基于傳感器的設備網絡中，臟數據可能是由單個或者多個問題共同產生的。問題可能來自于時間序列跳躍、傳感器單元本身的測量有誤、日期/時間未及時校準、傳感器之間的不恰當關聯、跨域數據點的不正確聚合等。也可能是僅僅因為產生的數據不符合業務目標，不穩定或者無法使用，就被認為是臟數據。”Liaison Technologies公司產品營銷總監Pratikh表示。這家公司幫助把可用數據放到一個平臺上，以供企業使用。

其它人也對臟數據給出了自己的具體定義。“臟數據是那些由您的設備按照正確的格式報告，但是在某種程度上無效的數據。我們甚至無法對這些數據做出解釋，”物聯網系統集成商Bright Wolf的聯合創始人James Branigan說。“你完全可以讀取它，但是你會發現，某些數據實際上是完全無效的。”

在智能物聯網和物聯網中，臟數據的風險在于它會污染公司的大數據庫，引發其它危險行為，而且也浪費錢。“臟數據之所以會成為一個問題，是因為在所有這些物聯網系統中，當你在數據中尋找價值，在這些輸入的數據上進行某些程序化分析時，你會把分析結果在部分程度上反饋到企業系統中，”Branigan說。“對這些數據處理分析并反饋后，會發生一些有趣的事情。但是，如果你把分析建立在糟糕的假設-臟數據-上，那么，垃圾輸入必然導致垃圾輸出。臟數據可能會給你帶來真正的傷害，因為這些實際上無效的數據會導致一些自動化操作被禁能，從而產生實際的經濟成本。”

Branigan發現了三種臟數據。“第一種來自傳感器的物理故障。它既無法檢測環境的變化，也無法檢測自身的故障，雖然它仍將向你提供格式良好的數據，但是這種數據完全是垃圾。第二種來自設備運行的固件的軟件錯誤。即使是較新版本的固件也可能產生格式良好但完全錯誤的數據。第三種臟數據真正可惡，你需要對具體的機器操作非常了解，才能理解如何解釋進來的數據。如果不了解這些，你會把錯誤的數據解釋為有效數據，但是系統其它部分卻會給出不同的解釋。”

那么，臟數據能否被洗白白呢?

數據清洗工具

有許多工具可以幫助清洗數據。“現在已經有了很多很棒的工具，比如大受歡迎的Matlab、Labview和Python。我們自己的MetaWear API可以在所有主要編碼語言下幫助實現數據過濾器。我通常建議客戶們使用它們最熟悉的工具，而不是強行兜售我們自己的API。Python是一個很棒的工具，它有許多機器學習庫，開源、易用，而且有很好的文檔記錄。”MbientLab的Kassovic說。MbientLab還使用博世的FusionLab，因為它們不僅自己提供傳感器，還銷售提供博世的傳感器。

MEMS市場領導者博世傳感技術公司也會其傳感器提供驅動程序和庫，幫助傳感器實現檢測、解讀、監控、感知情境并預測意圖，負責MEMS產品組合業務開發的Marcellino Gemelli寫道。意法半導體提供庫、驅動程序和傳感器設置工具，以及可幫助簡化設計的微控制器。

尋找具備合適專業知識的專業人才并非易事。“你不能派一名軟件工程師去干固件工程師的活。”Kassovic說。

在企業的角度來看，讓數據科學家參與清洗數據將花費太多的時間。“現在，各種機器都在源源不斷地產生數據，可能會產生比人類產生的臟數據還要復雜的新級別臟數據，這將成為臟數據清洗的重點對象。”Branigan說。“大數據市場里有很多數據清洗工具，但是這些工具都以數據科學家為中心。對于一個相對靜態的數據集，數據科學家清洗它，分析它，然后可以找到一些有趣的東西。這種方式應對人類生成數據的速度確實很有效，但是很難甚至不可能應對機器生成數據的速度。你最終需要一個自動化的系統，它從設備上獲得實時數據，流水化地進行分析，然后把分析結果輸出到企業的某個業務系統中，以便自動化地執行業務操作。”

傳感器轉向數字化可能會有所幫助。“數字通信絕對有好處。那些你從中獲取并收集優質數據的傳感器，它的噪聲是不是因為模擬才產生的?我看到傳感器行業存在向數字化轉變的自然趨勢，你可以在其中內置一些錯誤檢查功能。數字系統存在一定的噪聲區間，如果這些噪聲出現在數字電路通道中，誰會在乎它呢?因為數據要么是1，要么是0，基本不可能出現數據反轉，你可以對數據傳輸加入校驗機制，如果校驗失敗，你可以把數據丟掉。”Pohlen說。

“盡管原始數據可能被過濾、補償、糾正，但是在大部分情況下，用戶的操作也有一定的限制。”負責博世傳感器MEMS產品組合的業務開發的Marcello Gemelli在最近的一篇文章中指出。

“克服這些挑戰的第一步是實施和集成適當的清洗工具，”Liaison Technologies的Parikh說。“這些清洗工具不僅處理數據質量，還要從項目的角度驗證數據源頭身份、可信度、時間序列。每個項目都有各自獨特的要求。項目實施者可以應用一些通用的技術手段，但是必須做好準備，根據需要進行大規模定制，以實現業務目標。”

Liaison Technologies提供數據清洗、過濾、管理以及重復數據刪除檢測等業務。“我們提供的一個關鍵功能是追蹤數據的血統，即從數據原始源頭到清洗過的結構化數據的鏈路跟蹤。”

對于安全關鍵系統而言，冗余可能是一種優秀且昂貴的解決方案。TT電子公司的Pohlen表示，“每個人都希望達到更高的ASIL等級，但他們是否一定要承諾提供更多感應能力?同樣，ASIL等級也可以歸結為數據是否正確，以及在后端如何解讀這些數據，除非您可以在傳感器中進行某種自診斷，否則最好的方法是冗余。”