隨著大數據技術的成熟和發展,大數據在商業上的應用越來越廣泛,有關大數據的交互、整合、交換、交易的例子也日益增多。本文就進行大數據交易的一些問題, 以及建立大數據交易所的必要性, 做一些探討和研究。我們認為,建立大數據交易所是勢在必行的市場需求。
目前下列公司和機構通常擁有大數據:
大型實體商業公司或電子商務公司,如大型連鎖商店walmart,sears等,或amazon,阿里巴巴。這類公司大都擁有大量的客戶數量、長期的客戶購賣記錄、客戶的支付歷史等。這類公司最感興趣的是客戶購物的消費偏好和消費習慣。目前這類公司的大數據應用包括推薦關聯產品和推出其它新的產品、 新的服務上。
大型服務公司,如銀行、電信服務等公司。這類公司也擁有客戶的某個方面歷史消費記錄,比如銀行可能擁有客戶的金融賬戶收入支出信息,電信公司擁有客戶的電話或網絡使用歷史。這類公司通常對本行業內推出新的產品和服務,以及尋找潛在客戶,降低業務風險較感興趣,比如熱門的推薦系統等。
大型制造企業,如福特汽車公司等。這類公司因為其大量的客戶基礎,往往可以在推出新產品服務上使用大數據技術和應用。
大型網絡服務公司,如google,百度,yahoo 等。這類公司由于在其服務行業的壟斷性,積累有海量的用戶在網絡虛擬世界的行為信息。這類公司通過歸納和機器學習等,可以挖掘出非常多有價值的應用產品和服務。目前使用大數據最好的公司是google。google廣告系統adsense就是利用大數據技術來實現的。另外,google公司還可以利用大數據做出一些預測,如流感的爆發,政治性事件的預測等。google公司還進一步推出如自動駕駛等大數據應用,及google眼鏡等結合大數據收集與應用于一身的產品應用。
大型社交網站,如facebook,twitter,及其它社交網站如linkedin和其它活躍論壇等。 全世界用戶每天都在社交網站上產生大量的內容。僅facebook每天需要處理的社交信息就達到了500tb之多。 目前這些數據正在被大量的個人開發者和技術公司使用,用來做各種商業服務推薦或新的產品。
政府部門和科研機構的公開數據,如有關天氣、交通狀態、道路、地質、環境 以及科學研究的進展等部分。美國聯邦政府特別提出,將聯邦政府各部門的數據開放給公眾,這些數據的應用包括自動駕駛、智能交通監測系統等。
除了上述商業機構的大數據之外,國家機構還擁有大量有關國家安全的敏感信息。本文只討論商業應用,故不討論這部分大數據的應用和交互。
一位曾在teradata公司工作的數據專家說過,很多商業公司大約只存儲15%的有關他們業務的數據,其余85%數據都存儲在其它外部公司或網站上。大數據時代的技術,使得企業內部的大數據和外部數據的整合、交互變得更加重要。
目前一些商業機構對大數據的應用,不止局限于對自身擁有的大數據進行分析,還需要用到其它方面的大數據。
例子1:某些金融企業如銀行希望和利用獲得其用戶的社交信息,以便和該金融企業擁有的客戶信息整合起來,推出更多的新產品和更好的客戶體驗。
例子2:一位醫療保險公司的客戶要去某國外城市旅行,在微博上發表了這一信息,醫療保險公司因為事先得到客戶的許可,可以從社交媒體(微博)上獲得這一信息,根據這位客戶的個人特殊身體情況,醫療保險公司馬上給該客戶發去避免某些當地食物的短信。
例子3:一家經營連鎖旅館的企業,除了自己網站、各地客房入住等情況外,希望能夠獲得其它旅游方面的大數據,例如景區旅游人數、租車公司的客戶數量、租的汽車的檔次等變化等,這些對旅館的房價定價,經營預期等有著很強的輔助作用。
例子4:一家初創公司,利用城市交通情況的公開信息(政府信息),結合其用戶群上傳的即時的城市交通狀況(互聯終端產生的用戶自創信息或社交信息),對交通路線、預測到達時間等進行預測,從而為城市里的駕車人群車流進行更好的服務。
商業公司對外部大數據的整合和交互是未來的大趨勢,國外有很多公司已經開始著手這方面的技術和服務,如alteryx、qlikview、tableau、factual等。
對于政府或科研部門公開的大數據信息,商業公司業可以進行整合和分析,比如人口調查、gdp統計、房產信息(美國是公開的)交通情況等。眾多大數據技術公司也已經在這方面發力,如factual、infochimps、socrata等公司。
據gartner預測,到2017年,約三分之二的大數據整合項目,將是企業防火墻之外(外部數據)的整合。
商業公司之間的大數據交互至少有下列幾種:
方式一:兩家或兩家以上的商業公司,他們從事的服務行業不同,擁有客戶的不同方面的信息,他們的服務行業有的具較有強的相關性,整合、交互信息對其中一方或參與各方都能增加新的價值。
方式二:商業公司對社交網站的客戶個人信息數據整合,期望帶來新的業務增長點或實行更好的客戶服務。
方式三:商業公司對政府部門的公開信息,進行大數據級別的整合和交互,產生新的商業模式、新業務、或改進客戶服務。
方式四:未來,還會有新的外部大數據的整合方式會產生價值,比如某商業公司進行大量的對外部弱相關的數據的整合,當總量達到一定規模之后,仍然會產生對商業公司自身業務具有巨大價值的信息。
商業公司間的大數據種類眾多,幾乎大多數的情況下,兩個公司之間數據的整合只對其中一方的業務有幫助,或者對雙方的業務幫助價值不對等,比如社交媒體的信息對于大眾商品銷售公司等。因此,購買大數據的可能性遠大于簡單數據交換或數據互通。如何引導,規范大數據的交易,以及提供交易方式、工具等, 成為有關部門和大數據技術公司研究的重要課題。
我們認為,要開展大數據的交易,需要解決一系列的問題,例如:
如何引導更多企業開放大數據? 大數據的應用需要更多的企業開發各自行業、領域的數據,市場的參與者越多,市場的交易選擇和能找到的價值就越大。我國政府應該鼓勵更多企業開放他們的大數據。企業間的大數據通過更多的交互和交易,才能最大的價值化。
如何保護大數據的屬有權和隱私權?大數據往往是個人信息的集成, 我國對于個人信息隱私的保護有明確法規和引導,大型企業都特別注意對用戶的隱私保護。企業間用來交易的大數據,必須遵守國家有關法律,保護個人隱私和重要信息。因此,市場能提供的大數據應該更多是經過處理,隱去個人敏感信息,或者直接就是按照區域、人口年齡、收入情況等進行分類集成后的信息。相關部門可以制定關于大數據交易的法規,引導市場參與者在提供大數據的同時,對于國家安全信息、個人隱私、商業機密等方面進行特別保護和處理。
如何更好地開放政府部門信息?各國政府都在開放更多的公開信息,建立公開的大數據平臺,更好的利用大數據為社會服務和產生價值。我國政府在這方面也大有可為。
如何找到有價值的外部數據?商業公司只對自身業務有關的外部數據感興趣,如何找到強相關或弱相關的外部數據,成為重要的課題。大數據創業公司可以在提供工具,建立開放的api等方向有所作為。各類云計算平臺也可以提供大數據的api。我們認為,政府或大數據技術公司等業界,應該創造一些基本的數據處理、歸類、分析工具。 為商業公司尋找外部大數據的整合和應用,提供服務和方便。
如何衡量大數據的量和質?一般說來,一個大數據包,如果包含某一方面的大數據年限越久,覆蓋人群或服務方向越多,其價值就越高。但是同樣的大數據,對于不同的潛在買家,可能具有的價值不同。例如某電子商務網站的客戶消費記錄,對于一個大型綜合類銷售公司,和對某一小型單一產品銷售公司的價值,差別巨大。如何對大數據產品進行量和質進行價值上的分類,是進行大數據交易必須解決的問題。
如何規范大數據商品的可重復使用性?一個大數據包,可能會對不同的外部企業都具有價值,有時而且沒有利益沖突。理論上一個大數據商品,可能可以出賣多次。對大數據交易,是否產生使用權,屬有權的改變?是否能夠再次出售,能否轉賣?能否賣給某位買家的競爭對手?等問題,都應該進行明確和規定。
如何建立大數據商品交互技術平臺、開放api、統一api?由于大數據的量大,規格眾多等特性,大部分時候,大數據的直接轉移非常困難或不現實,買家往往需要通過api來使用大數據商品,如何建立統一的api,建立大數據交互的技術平臺,也是一個巨大的挑戰。
另外,大數據商品,更接近于原始的商品,市場參與者各自帶上自己的貨物,到一個市場進行交易, 類似于擺攤。由于上述的大數據商品的特性,更加需要建立規范的、方便的交易場所。
大數據商品的交易可能會包含下列過程:
賣家對自己的大數據進行預處理,保證用于交易的大數據商品遵守國家相關的法律和規定;
賣家描述自己的大數據包,并描述以往的交易歷史,包括歷史買家的行業描述等;
買家在大數據交易平臺上尋找對自己業務有幫助的大數據商品;
買賣雙方就數據的使用權,數據的轉移,數據是否可以再次出售(時間上,競爭對手限制等),是否委托第三方技術公司進行數據分析等等, 達成協議;
買方支付交易金額,同時大數據商品轉移到買方;
買方將對大數據商品進行分析或應用,實現大數據商品的價值。
我們認為,由于大數據商品的特殊性,建立大數據交易所,可以對大數據的交易做出權威性的規范,保證交易安全,同時為市場參與者提供工具和幫助。
大數據交易所的重大作用:
大數據交易所可以深化國家有關法律對大數據商品的規范,特別是確保大數據交易的買賣雙方遵守國家有關隱私,國家安全,商業機密等方面的法律,保護消費者的信息安全和其它權益;
大數據交易所可以引導對大數據商品的規范,對大數據進行定量,定價方面進行引導;
大數據交易所應該建立認證系統,確保大數據商品的真實性和價值;
大數據交易所應該為市場參與者提供技術上的幫助,幫助市場參與者尋找適合自己的交易方;
大數據交易所應該且可以對大數據的轉移和使用提供法律上的保障;
大數據交易所應該且可以對大數據的轉移和使用提供數據安全上的技術保障;
大數據交易所,應該確保資金的轉移和安全;
大數據交易所,還可以開放大數據期貨,即對未來某時間段將要產生的大數據,進行交易。
由于市場參與者大都為商業公司,大數據的交易更像是實體商品交易而不同于股票交易。隨著交易的進行和市場參與者的增多,大數據商品的種類會逐漸豐富,從而吸引更多的市場參與者。
大數據交易的參與者至少包含下列幾類:
初端賣家,即提供某方面信息的大數據商品賣家,該類用戶可能通過從事的行業服務,積累某個方面的數據;
終端買家,對相關行業服務信息由需求的商業服務公司,買來大數據提升自己的服務或產品;
大數據投資者,這類參與者發現或認可某大數據商品的價值,可以先買入,再買給有需求的大數據終端買家;
加工商,由于大數據商品的高技術含量,大數據技術公司可能先買入原始數據,經過處理,集成后,再賣給終端買家。
市場參與者可能具有多重交易身份,既是大數據的提供者,也是大數據的消費者。各類市場參與者的交易,能使大數據交易市場更加活躍,增加市場的流動性,引來更多的大數據商品的加入和交易。
綜上所述,建立大數據交易所,雖然在技術上、法律上、流程上尚有一系列需要解決的問題,但我們認為,這是一個可以逐步進行,逐步解決的過程。 我們認為,建立大數據交易所有非常大的必要性和可行性,建立大數據交易所是勢在必行的市場需求。