今日的物聯網(IoT)開啟了大量的數據源，也擴展了大數據將顛覆商業、科技以及技術人員職業的承諾。
大數據(big data，或譯“巨量數據”)的崛起，可以說是因為Google的Sergy Brin與Larry Page開發了一種算法，能在網絡上找到比其他競爭對手搜索引擎相關度更高的結果；Google的這一課持續在所有試圖于數據庫中尋求具競爭力見解的企業之間發酵，無論規模是大或小。
今日的物聯網(IoT)開啟了大量的數據源，也擴展了大數據將顛覆商業、科技以及技術人員職業的承諾；在這一路上，大數據催生了新種類的處理器與系統架構，還有持續演進的算法與編程技術。
企業情報暨商業信息服務業者美商鄧白氏(Dun & Bradstreet)的資料科學長Anthony Scriffignano在一場最近由美國硅谷商業/科技論壇Churchill Club舉辦的活動中表示：“我們正被數據淹沒的概念是新常態。”
也在該場活動中發表演說的IBM首席資料長(chief data officer，CDO) Inderpal Bhandari則表示，大數據分析的目標是：“改變一家企業的主要業務流程，讓他們有更好的成果，并因此能更快做出更好的決策。”
美國科技圈最近幾個首次公開上市(IPO)的大案子也是搭上了大數據熱潮，包括商業軟件業者Cloudera與Hortonworks，兩家都是開源大數據分析架構Hadoop──相當于Google的核心算法MapReduce──的推手之一。
在斯坦福大學(Stanford)的的資料科學計劃(Data Science Initiative)下，研究人員正在開發一般企業能夠掌控的大數據技術；該計劃執行總監Stephen Eglash表示：“機器學習令人印象深刻，但實在不容易運用，就算是最先進的公司可能也只有少數幾個人能充分發揮那些技術。”
但Eglash指出：“我可以想象有一天，那些工具就會像微軟(Microsoft)的Office那樣容易取得；”為了達成以上目標，斯坦福的研究人員著手開發一款名為Snorkel的工具，能將大數據集的歸類(labeling)與吸收(ingesting)程序自動化。
“要看到該工具成功運作還需要好一段時間；”Eglash表示：“我們希望領域專家(domain expert)能在不需要信息科學專家的情況下使用那些技術。”
IEEE的大數據計劃采取的是另一種方案，讓大型數據集能透過其Dataport服務免費供研究應用；到目前為止，其數據庫內容已經包括了從紐約市(New York City)交通實時路況到人腦神經元運動等各種各樣的例子。
商用巨量資料研發項目的種類也是同樣五花八門；成立于1976年的老牌商用數據分析軟件業者SAS首席數據官Wayne Thompson表示：“我們正在與一家半導體業者合作，協助他們透過改善計算機視覺來降低晶圓廠工藝的缺陷率。”
Thompson進一步指出：“另外一個我們的研發伙伴則正在利用深度學習來提升足球員的表現。我們也利用深度學習，透過足跡影像追蹤與分析來監控并計算瀕臨絕種野生動物的數量。”
較小型的公司也在市場闖出一些名號，例如Real-Time Innovations Inc. (RTI)雖然員工僅有150人，其創新的實時監控數據總線(databus)軟件號稱取得了超過1,000個設計案；該公司的節點追蹤(tracking nodes)采取訂閱/發布(subscribe-and-publish)模式。
RTI軟件的第一個大客戶，是安裝在美國海軍驅逐艦U.S.S. Cole上的中介軟件服務器；該驅逐艦才剛經歷在中東遭炸彈攻擊事件。此外該軟件也應用于水力發電廠、醫療設備，以及風力發電場等設施。
最近RTI延攬已被甲骨文(Oracle)收購的太陽計算機(Sun Microsystems)共同創辦人Scott McNealy，坐鎮協助公司擴展規模的顧問團；McNealy表示，RTI的業務是所謂“網絡計算機”(the network is the computer)的下一個階段演進：“今日的網絡也是電廠以及其他許多東西。”
業界對數據科學人才迫切需求
根據《哈佛商業評論》(Harvard Business Review)的調查，大數據崛起使得數據科學家成為科技領域最炙手可熱的職業之一。
對此斯坦福大學的Eglash表示：“目前資料科學人才需求量遠遠超過供給量，感覺幾乎地球上每家公司都發現自己坐擁價值連城的數據，都在試圖搞清楚該如何充分利用它們；”而他認為，這種趨勢并非一時熱潮，而是科技素養(technical literacy)邁入一個新階段。
Eglash指出：“就像是每個受過教育的人都應該能寫一段文章或是做算術，感覺我們正邁入一個只要是做為社會的一份子、感覺每個受過良好教育的人就該擁有基本資料科學素養的時代；這并不是說每個人都需要會寫程序，但確實需要成為數據分析推理的關鍵消費者。”
明智的企業將會了解他們可以將哪些工作外包，以及哪些專門技術是他們應該自家擁有的；Eglash表示，具備提出集中焦點問題的能力是關鍵，而不只是說“讓我們來看看我們的數據里有什么”；例如他們應該要會問，若結合他們的制造數據以及公開的商品定價數據，能如何更有效管理供應鏈。
SAS的Thompson建議年輕人認真思考投入數據科學領域的職業：“我認為我們將會看到更多機器人，特別是具備對話能力的，這能大幅減少無效、成本高昂的互動發生…并讓我們能享受更好、更豐富的生活。”
Eglash也同意以上看法：“我們恰逢幾種黃金時代，人工智能(AI)與數據科學顯然也在其中，這是一個偉大的時刻，無論你有沒有興趣，都該去了解有關于統計學以及數據科學的相關知識。”
編譯：Judith Cheng
京公網安備 11010502049343號