在整個歷史中,人類一直在創造滿足特定需求的專用工具。即使在石器時代,人類已經開始將石頭制成能做不同事情的工具。鋒利的石頭用作切割工具,而更大的錘子則用來敲打東西。
專用工具在各行各業都很普遍。當我們有適合的工具時,我們做事才最順利。你希望你的外科醫生用瑞士軍刀去除發炎的闌尾,還是用精細的手術刀呢?
信息技術行業充斥著為滿足特定需求而開發的工具。例如,客戶關系管理(CRM)工具使用名為關系數據庫的特定類型的數據庫來組織和關聯特定客戶的信息。如果沒有關系數據庫,我們仍然會在klunky電子表格或Rolodex中跟蹤客戶聯系人!試想一下如果沒有一種名為網絡瀏覽器的專門工具,我們還能在互聯網時代做什么事情。
這個新的工具時代對專有工具也有同樣的需求。在這一浪潮里,組織在物體上安裝了大量的傳感器,以進行測量或檢測記錄事件的發生。工具化的“事物”是實體的,如車間里的機器,或虛擬的,如運行在容器化計算環境中的軟件應用程序。任何能從工具化中獲利的東西都被都會被工具化,這只是時間問題。
今天,傳感器可以捕獲溫度、壓力甚至峰值CPU利用率等指標流,或者捕獲文件訪問或打開機械閥門開合等事件。這些數據被加上時間標記并被收集到數據庫中,在這里,數據加入數百萬個類似的數據點,這些數據點可以隨時間或特定的時間點講述故事。最終目標是解釋這些數據點的含義,做出相關的實時決策,并采取某種即時行動來控制接下來發生的事情。
例如,試想一下,在現代車輛中用來防止碰撞或減少碰撞嚴重性的避撞系統。它使用來自GPS,雷達,LIDAR和相機系統(即傳感器)的相關數據來檢測即將發生的碰撞并警告駕駛員,或者它可能采取自主行動而無需駕駛員來施加制動或將車輛轉到別的方向。所有這一切僅僅在幾秒鐘的時間內發生。更重要的是,系統在此刻做出的決定很重要,因為這決定了碰撞是否可以避免。
工具時代的專用平臺
與客戶關系管理,互聯網瀏覽甚至手術一樣,捕捉并使用傳感器生成的數據的系統需要專門為此活動構建的工具。這類平臺有非常明確的需求,這些需求無法用通用工具得到解決。以下是工具時代平臺的特點:
•它必須能夠處理驚人的數據量——無論是將數據注入系統中,還是隨時間存儲數據。試想一輛自駕車。它內部裝備了能持續測量各種流量指標并觀察無數事件的傳感器:速度,與前方車輛的距離,與道路上的涂漆線的接近程度,交通信號燈的狀態等等。這種以非常快的速度生成的大量數據需要一個基礎架構來處理數據的即時接收和存儲。批量是做不到這個的。更重要的是,平臺必須能壓縮數據,以便它不會一下子消耗所有的存儲容量。
•系統必須將時間視為數據的基本構造。每個數據點都會有一個時間標記,以便系統可以準確地了解測量進行的時間或事件發生的時間。使用這些數據的應用程序需要支持時基(time-based)功能,例如計算數據的移動平均值(rolling average),或比較數據點與不同時間段內的相同測量值之間的差異。時間是為此目的而構建的所有平臺的基本組成部分。
•系統必須能對數據進行降采樣(down-sample);即在一段時間之后刪除一些(但不是全部)數據點。如今考察一下非常精細的最新數據可能很重要,但隨著時間的推移,大量數據的價值會減少。例如,假設你想測量網絡帶寬的消耗。如今,你希望數據點處于毫秒級別,但從現在開始的一個月后,丟棄很多較舊的數據點,每秒只進行一次測量也沒什么問題。對于不太緊急的數據,過一段時間觀察趨勢也沒事。而且,刪除不必要的數據點可節省存儲空間。
•平臺必須能夠實時處理數據。試想一下自駕車的情況。系統必須實時解釋和分析數據,以便在要緊關頭采取行動。等幾秒鐘的制動時間來避免碰撞是不可行的;一旦數據表明碰撞即將發生,就必須立即采取行動。
•最后,平臺必須用來控制變量類型(type function)。你要使用關鍵的時間戳數據來完成某些操作,例如使用車輛制動以避免碰撞。只有當你能夠控制下一步發生的情況時,才能看到情況。
利用工具時代的基本技術要求,這是一大難題。但是,人們已經創建了新的專用平臺來處理這些特定的度量標準和事件,或時間序列,工作負載,并為業務提供情景感知。這些平臺每秒可攝入數百萬個數據點,能夠橫向和縱向擴展,從頭到尾的全面設計能支持實時洞察,并具有強大的機器學習和異常檢測功能,能幫你找到有利的業務時機。此外,它們具有資源意識,應用壓縮和降采樣功能以實現最佳的資源利用率,并且以最小的依賴關系加快產品上市時間。
工具時代已經到來。這對業務的好處是巨大的,但前提是你使用了合適的工具和合適的基礎設施來處理新的工作負載時。新的工作負載需要專用的基礎架構。