精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:大數據業界動態 → 正文

融合數據分析服務的大數據交易平臺研究

責任編輯:editor004 作者:宋梅青 |來源:企業網D1Net  2017-11-06 11:27:23 本文摘自:《圖書情報知識》

1 引言

目前發展大數據產業已經上升為國家戰略,大數據的價值也得到了社會的廣泛認可。眾多研究[1-5]表明,大數據不僅為政府治理開辟了新思路,還是企業創新的重要源泉和高校科研的重要支撐。大數據交易平臺是整個大數據產業的基礎與核心,它使得數據資源可以在不同組織之間流動,從而讓單個組織能夠獲得更多、更全面的數據。這樣不僅提高了數據資源的利用效率,更重要的是,當一個組織擁有的數據資源不斷豐富和立體化,有助于其通過數據分析發現更多的潛在規律,從而對內提高自身的效率,對外促進整個社會的不斷進步。

在現有的大數據交易平臺上,數據供應方和需求方各自發布供需信息,交易雙方瀏覽這些信息,如果發現合適的交易對象,則進行大數據資源的買賣,交易平臺只作為信息中介存在。這類大數據交易的本質,其實是單獨的大數據資源交易,現有平臺可以統稱為第一代大數據交易平臺。第一代大數據交易平臺在供需平衡、數據定價和時效性三個方面都存在較大的不足。本文針對這些不足進行改進,設計了一種全新的第二代大數據交易平臺,命名為:融合數據分析服務的大數據交易平臺,該平臺將數據資源交易與數據分析服務進行深度融合,實現了數據與服務的一體化交易。本研究不僅為當下正在建設的各類大數據交易平臺提供有益的借鑒,也豐富了大數據交易的基礎理論體系。

2 相關研究

目前大數據交易的相關研究中,比較有代表性的有:

(1)大數據的財產屬性和所有權。王玉林等[6]對大數據的財產屬性展開研究,認為大數據的法律屬性會直接影響大數據產業的發展,而大數據交易實踐本身就反映出大數據具有財產屬性。但大數據與傳統的財產權客體存在較大不同,它符合信息財產的特征,是信息財產權的客體,應受到相關法律的保護。齊愛民等[7]從宏觀的角度分析了國家對于其主權范圍內數據的所有權,剖析了個人擁有的數據權以及數據的財產權。

(2)大數據的定價問題。劉朝陽[8]對大數據的定價問題展開研究,首先分析了大數據的基本特征、價值特征等定價基礎。接著討論了效用價格論、成本價格論等定價模式。最后分析了大數據的定價策略,并對大數據定價的雙向不確定問題進行了詳細論述。劉洪玉等[9]認為在大數據交易過程中,由于缺乏足夠的歷史參考,其數據資源的交易價格很難確定,因此提出一種基于競標機制的魯賓斯坦模型,用于大數據交易雙方進行討價還價,以求達成一個交易的均衡價格。翟麗麗等[10]從資產的期權價值角度來評估大數據資源的價值,并指出數據在不斷變化和更新,加上數據的非獨占性等情況的出現,數據資產的價值可能會下降,最后綜合這些因素構建了一個評估模型來計算數據資產的價值。

(3)大數據交易的安全與隱私保護。史宇航[11]認為非法的數據交易會對個人數據等高價值信息的安全造成影響,對非法數據交易的購買方和協助方都應進行處罰。提出應先明確數據的法律屬性,再以數據交易所為平臺進行交易,并對數據交易所的法律地位進行了分析。殷建立等[12]為應對大數據時代數據采集、交易等過程中的安全問題,綜合考慮技術、政策和管理平臺等方面的因素,構建了一種個人數據溯源管理體系,該體系可在數據應用時實現個人數據的追蹤溯源,從而保護其個人隱私。王忠[13]認為大數據環境下強大的數據需求會導致個人數據的非法交易,為應對這種情況,應該建立個人數據交易許可機制,通過發放交易許可證、拍賣授予等措施實現隱私保護。

(4)大數據交易的發展現狀與問題。楊琪等[14]認為我國的大數據交易還處于行業發展的早期,大量數據源未被激活,原因是大數據產業價值鏈的各個專業環節發展滯后,并且對數據交易中的安全問題和隱私泄露等有較大的擔憂。應該對數據產品進行改造,使其更商品化,并且通過政府開放公共數據等措施逐漸消除數據流通中的安全顧慮。唐斯斯等[15]首先分析了我國大數據交易的發展特點、交易類型等現狀,接著指出目前大數據交易存在法律法規相對滯后、行業標準不完善、交易平臺定位不明確、數據質量不高等問題,最后提出應加快相關法律和標準建設,并推動數據開放,加強交易方式的創新。

除了上述四個主要研究方向以外,李國杰等[16]從理論的角度分析了大數據研究在行業應用和科學研究方面的重要作用,這從客觀上反映了大數據流通的必要性。涂永前等[17]認為大數據時代企業管理和運用數據資源的相關成本會成為企業的主要交易成本,這會改變企業的組織結構,并導致企業邊界的變化,企業會進行多方向的擴張,這為促進大數據產業發展的相關法律的制定提供了理論支持。總的來看,由于大數據交易本身屬于較新的領域,因此相關研究總體上較少,已有研究也大多集中在上述幾個研究方向上。實際上,大數據交易平臺是實現大數據交易的重要載體,是大數據資源流通轉換的主要節點,交易平臺本身需要隨著整個大數據產業的發展,不斷的改進和升級,而現有研究中恰恰缺少對大數據交易平臺本身進行創新的研究。由此,本文針對現有大數據交易平臺的不足,結合實際設計了一種全新的融合數據分析服務的大數據交易平臺,為實踐和科研提供借鑒和參考。

3 現有大數據交易平臺的不足

大數據本身作為一種新興事物,當把它作為一種商品進行交易時,其交易平臺的設計很自然會參照傳統的商品交易模式,即:交易雙方先發布供求信息,再經過討價還價,達到一個均衡的價格則成交,賣方將大數據資源經過脫敏處理后,交付給買方。目前無論是政府主導的大數據交易所,還是企業或者高校創建的大數據交易平臺,都是采用類似的交易模式,這也是第一代大數據交易平臺的突出特點。實際上大數據與傳統商品有很大的區別,照搬傳統商品的交易模式會出現很多問題。本文將從供需平衡、數據定價和時效性三個方面分析現有大數據交易平臺的不足。

3.1 數據供需的錯配

現有大數據交易平臺的第一點不足就是數據供需的錯配,即:供應方提供的數據資源往往不是需求方所需要的,而需求方需要的數據在交易平臺上找不到,即使有相近的數據資源,也存在很大的數據缺失或冗余,買回去也無法使用。對數據供應方來說,由于無法準確預知數據買方多樣性的需求,它只能從自身角度出發,將可以公開的、并且自認為有價值的數據資源放到平臺上待售。對需求各異的買方來說,供應方提供的標準數據很難與自己的應用方向精準匹配,這也是目前大數據交易還不夠活躍的原因。當然,當供需雙方建立初步聯系以后,供應方甚至可以為需求方個性化定制大數據資源,但即使這樣,供需錯配的問題仍然無法解決,原因就在于單個的數據供應方無法提供多維的數據資源,只有多維的數據資源才具有較高的分析價值。

3.2 大數據資源定價困難

大數據資源定價困難是現有大數據交易平臺的第二點不足。大數據資源和普通商品不同,普通商品可以直接消費或者作為再加工的原材料,其價值都可以通過最終的消費品價格得到體現。而大數據本身的價值無法直接衡量,需求方購買它的目的是作為數據分析的信息源,但是否能發現潛在的規律還未可知。因此無法在購買前,準確判斷出待售數據資源的價值大小。此外,需求方在不確定某大數據資源是否能真正能給組織帶來收益情況下,很難給出一個較高的價格,這在客觀上會影響數據供應方的交易積極性,加大了供需雙方達成交易的難度。

3.3 數據的時效性不強

現有大數據交易平臺的第三點不足,就是數據資源的時效性不強。目前很多大數據交易平臺上待售的數據資源都以歷史數據為主,這是因為數據資源在交易前需要經歷脫敏處理,將涉及政府信息安全、企業商業機密和個人隱私等敏感信息進行變換和替代。此外,供應方還需要對原始數據進行初步的清洗,整理成一定的數據格式集中存貯和交付,方便需求方進行數據分析。由于一般的數據供應方并不具備對大數據進行實時脫敏和清洗的能力,只能將采集到的數據資源,經過一段時間的離線處理后,再放到交易平臺上,所以只能供應歷史數據。隨著社會節奏的不斷加快,歷史數據很可能并不能反映當下的真實情況,越來越多的數據分析都需要用到實時數據作為信息源,這是未來大數據交易必須克服的一個短板。

4 融合數據分析服務的大數據交易平臺設計

本文提出將數據分析服務融合到目前的大數據交易中,以此來克服現有交易平臺的不足,本節將首先對數據分析服務進行概念界定,再依次介紹平臺設計的總體思路和核心模塊的設計,具體如下。

4.1 數據分析服務的概念界定

數據分析是指運用各類數據處理模型和信息技術手段,對數據資源進行深度的挖掘,從而發現其中蘊含的規律,作為管理決策的依據。數據分析本身是一種能力,如果一個組織將其數據分析能力提供給其他組織或個人,并收取一定的費用,這就是數據分析服務。在大數據環境下,數據資源不僅體量巨大而且種類多,對數據分析能力的要求不斷提高。在這種情況下,只有少數組織具備獨立處理大數據的能力,其他的組織比如大量的中小企業,都需要從組織外部尋求專業的數據分析服務,來滿足自身的需要。因此,數據分析服務和大數據資源一樣存在巨大的市場需求。

4.2 平臺設計的總體思路

本文將提出的融合數據分析服務的大數據交易平臺,定位為第二代大數據交易平臺,它將大數據資源交易與數據分析服務兩者進行深度融合,在交易平臺上實現數據與服務的一體化交易。大數據交易平臺的角色也從原來的數據資源買賣的信息中介,轉變為大數據綜合服務商。在融合后的大數據交易平臺上,數據需求方不再提交數據資源的需求信息,而是直接提出自己的應用方向和想要得到的結果,交易平臺再根據需求方的應用方向,反向匹配數據資源和數據分析服務。這個匹配的過程不是單一的數據集或服務的查找,而是對全平臺的數據資源進行有效整合,形成高價值的多維數據,再結合復合型的數據分析技術,得到最終的分析結果,最后將分析結果與基礎數據一同交付給需求方。交付基礎數據的目的,一是方便需求方進行分析結果的對照,為決策提供更精準的參考。二是需求方可以根據基礎數據進行衍生挖掘,進一步提高數據的利用效率。平臺設計的總體思路繪制成圖1。

 

4.3 核心模塊的設計

融合數據分析服務的大數據交易平臺共劃分為四大模塊,具體如圖2所示。

  圖2 融合數據分析服務的大數據交易平臺的主要模塊

系統管理模塊具體又分為用戶管理、系統維護和安全管理。安全管理是系統管理模塊的重點,主要包含三個方面的功能:第一,負責整個交易平臺的系統安全,通過對交易平臺進行實時監控,阻止外部的非法入侵行為,保障平臺的正常運行。第二,對數據供應方提交的數據資源進行審核,如果發現是非法數據,則阻止其交易,并及時將有關情況反饋給相關的政府監管部門,由它們進行調查處理。第三,檢查所有數據是否經過脫敏處理。如果發現部分數據存在未脫敏或者脫敏不合格的情況,交易平臺將負責對該數據資源進行脫敏處理,從而保護數據中的隱私不被泄露。

大數據資源池模塊、數據分析服務模塊和協同模塊是交易平臺的三大核心模塊,是數據與服務兩者融合并實現一體化交易的關鍵,本文接下來將對這三個核心模塊的功能進行詳細設計。

4.3.1 大數據資源池模塊

大數據資源池模塊主要包含三個方面的功能:數據資源格式的整理、數據的多維度整合、大數據資源的云存貯。具體如下。

(1)數據資源格式的整理。由于大數據交易平臺上的數據資源來自不同的數據供應方,因此其數據資源的格式會有較大的差異。如果不經過格式整理就直接進行數據分析,很可能會因部分數據無法準確讀取,而影響數據處理的效率,嚴重者還會導致數據分析中斷。數據資源格式整理的主要任務是將同一類型數據的格式進行統一,對部分缺失的數據屬性進行補充,對錯誤的數據格式進行修正。

(2)數據的多維度整合。在上文3.1中提到供需錯配的一個重要原因,就是單個數據供應方無法提供高價值的多維數據。所謂多維數據是包含用戶或者行業多個背景和情境的大數據資源,這些多維數據使用戶或行業多個側面的信息產生了關聯,有利于發現深層次的潛在規律。融合數據分析服務的大數據交易平臺應該作為數據整合的主體,將單個數據供應方提供的零散的數據資源,進行多維度的整合,當缺少某一個維度的數據時,再向相應的數據供應方進行定向的采集,最后得到相對完整的多維數據,具有很高的分析價值。

(3)大數據資源的云存貯。大數據資源經過格式整理和多維度整合以后,已經可以作為數據分析服務的信息源。下一步就是將這些數據資源進行統一的云存貯,以便數據分析服務調用。以往部分大數據資源由于體量巨大或實時更新的需要,無法上傳到交易平臺上,或者只提供部分調用接口。融合數據分析服務的大數據交易平臺通過建立云存貯中心,將整合后的多維數據進行統一存放和調用,有助于提高數據資源的存取效率。

4.3.2 數據分析服務模塊

數據分析服務模塊首先根據數據需求方的應用方向,匹配出合適的多維數據資源,再選擇相應的數據分析模型分配所需的計算能力,最后將得到的分析結果反饋給需求方。本文將數據分析服務劃分為三個大類:基礎性分析服務、高級分析服務、深度定制的分析服務。具體如下。

(1)基礎性分析服務。基礎性分析服務是指那些常規的數據統計,比如:總體中不同對象的占比分析,基于不同屬性的關聯分析或相關性分析等。這些分析服務耗時較短,分析技術較為簡單,只要數據資源本身完備,就可以迅速得到結果。基礎性分析服務由大數據交易平臺本身來提供,可以面對不同的需求方,實現快速交付。

(2)高級分析服務。高級分析服務是指那些較為復雜的數據分析服務,比如:精準的趨勢預測、全面的用戶興趣畫像、非結構化的信息挖掘等。這些分析服務需要大量專業的數據處理技術,比如:興趣建模、視頻分析,音頻分析、深度語義分析等,必須由大數據交易平臺對接第三方的數據分析服務商,由它們來提供高級分析服務。大數據交易平臺在同一數據分析領域,應引入多家數據分析服務商,通過動態的競爭,來保證服務的質量。

(3)深度定制的分析服務。大數據分析目前還處在快速發展階段,很多前瞻性的技術還在試驗當中,應該說數據分析技術的發展相對于旺盛的現實需求來說是滯后的。當需要用的某一數據分析技術,在目前的市場上還找不到現成的提供方時,就需要大數據交易平臺為其進行深度的定制,交易平臺通過多方位的研發能力評估,尋找合適的技術主體來進行專門的技術攻關。

4.3.3 協同模塊

協同模塊主要包含兩個方面的功能:數據分析服務之間的技術協同、交易各方的管理協同。具體如下。

(1)數據分析服務之間的技術協同。在面臨較為復雜的數據分析任務時,可能需要用到多個領域的數據分析技術,這時單個的數據分析服務商可能無法獨立完成。因為不同的行業領域,都有其行業技術的獨特性,需要長時間的專業積累。在這種情況下,就需要多個數據分析服務商相互合作才能完成。數據分析服務之間的技術協同,就是通過一定的技術標準和操作規范,讓多個數據分析技術提供方,能夠在完成同一任務時,在技術上不沖突,能夠相互并行的完成對數據資源的處理,按時按質的交付最終的分析結果。

(2)交易各方的管理協同。在融合數據分析服務的大數據交易平臺上,交易的參與者一共有四類,分別是數據資源的供應方、數據分析服務商、需求方和交易平臺自身。數據需求方在提交自己的應用方向和預期結果的同時,提交自己的交易預算。交易平臺根據需求方提交的應用方向和預期結果,對數據資源和數據分析服務進行反向的選擇。如果數據分析任務中只用到了基礎性分析服務,則整個交易為平臺方、需求方、數據資源供應方的三方交易。如果某數據分析任務,平臺自身無法完成,需要用到第三方的數據分析服務商,則整個交易包含了全部四類參與者,是一個四方交易。交易的基本原則是實現參與各方的利益共享。交易各方的具體利益分配如圖3所示。

  圖3 交易各方的利益分配

需求方希望在獲得預期結果的同時,其支付的成本在可接受的范圍內。交易平臺在對數據和服務進行反向匹配后,會出現兩種不同的情況:第一種情況是在原交易預算下,可以達到需求方預期的結果,則可成交。第二種情況是,原交易預算較低,在該預算下無法達到需求方要求的結果,這時交易平臺會和需求方溝通,提出新的報價,需求方經過考慮后,與平臺進行討價還價,它們在價格上達成一致時才能完成交易。由于交易數據是整合后的多維數據,因此原始數據資源供應方的收益,由平臺從總交易價中支付,具體的支付方式可分為平臺一次性買斷或按次數支付。同一數據資源對于不同的需求者來說,其價值是不一樣的,融合數據分析服務的大數據交易平臺根據最終的一體化交易成交價,反向對數據資源進行定價,相對于現有的大數據交易平臺來說,是一種進步。交易平臺的深度參與,會使數據交易的頻率加快,原始數據資源供應方會獲得更多的收益。數據分析服務商根據具體的數據分析任務,直接參與由平臺發起的競價,達成交易后由平臺支付。交易平臺本身的收益則是需求方支付額減去其他各方收益的差價。

5 融合數據分析服務的大數據交易平臺的優勢

本文3.1到3.3中指出現有大數據交易平臺存在數據供需錯配、大數據資源定價困難、數據的時效性不強三大不足。融合數據分析服務的大數據交易平臺作為改進后的第二代大數據交易平臺,可以很好地克服上述三點不足。除了這三個方面的優勢以外,由于融合后可實現數據與服務的一體化交易,這將擴大交易對象的覆蓋范圍,提升交易的活力,具體如下。

5.1 直接面向應用,從根本上避免了數據供需的錯配

在融合數據分析服務的大數據交易平臺上,需求方對交易平臺直接提出應用方向和預期結果。交易平臺對全平臺的數據進行多維度整合,如果缺失某個維度的數據,可以進行定向的采集和補充,最后形成高價值的多維數據。這些多維數據才是真正具有分析價值的數據資源,這是單個數據供應方無法提供的。在得到多維數據后,結合平臺自身和第三方數據服務商的分析能力,得到最終的分析結果。交易平臺最后交付給需求方的是數據分析結果和基礎數據,這種直接面向最終應用的大數據交易方式,從根本上避免了數據供需的錯配。

5.2 融合后定價更有根據

在現有的大數據平臺上,數據需求方是將數據資源買回去以后自己分析,而在購買數據資源之前,不能預知數據分析效果的好壞,因此無法進行有效的價值判斷,這是定價困難的關鍵點。在融合數據分析服務的大數據交易平臺上,需求方不再直接對數據資源付費,而是對最終的數據分析結果付費,并且數據分析結果是根據需求方的要求反向定制的,是符合需求方利益的。需求方可以通過評估預期結果對自身的重要性或收益的改進程度,給出適當的交易預算。交易平臺以該預算為參照,對數據和服務進行選擇,若出現原預算約束下無法實現預期結果的情況,交易平臺再與需求方進行溝通,雙方討價還價后達成交易。這樣相對于現有的大數據交易平臺來說,融合后定價更有依據。

5.3 融合后可提供實時數據

在融合數據分析服務的大數據交易平臺上,數據資源采用云存貯的模式,由平臺進行統一管理,這提高了數據資源的安全性。在數據安全有保障的前提下,由交易平臺出面和數據資源供應方進行實時數據的對接,將實時數據納入大數據資源池中。對于單個的數據資源供應方來說,實時的數據脫敏難度太大。但大數據交易平臺不一樣,它可以利用規模優勢,組建強大的計算能力,對大數據資源進行實時的脫敏和清洗,極大地提高了數據資源的時效性。

5.4 融合后將擴大交易對象的覆蓋范圍,提升交易的活力

融合后可實現數據和服務的一體化交易,讓很多自身不具備數據分析能力的組織和個人,也能方便地利用大數據,特別是大量的中小企業,這將大大增加交易對象的覆蓋范圍。

交易對象的增多會促進交易頻率的增長,從而為數據資源供應方帶來更多的收益,這樣會提升它們參與交易的積極性,鼓勵它們供應更多的數據資源,從而提升交易的活力,整個大數據交易行業就形成了正向循環的良好發展態勢。

6 結語

本文對大數據交易平臺本身進行了改進與創新,設計了一種全新的第二代大數據交易平臺,即:融合數據分析服務的大數據交易平臺。該交易平臺可以直接面向需求方的應用方向,實現數據和服務的一體化交易,不僅從根本上避免了數據供需的錯配,還使大數據交易的定價更有依據,平臺的深度參也讓提供實時數據成為可能,這些將從整體上提升大數據交易的效率。融合后數據和服務的一體化交易降低了大數據應用的技術門檻,鼓勵更多組織和個人參與,增加了交易活力。未來筆者將繼續關注大數據交易平臺的創新研究,為實際應用和學術科研提供更多有益的參考。

參考文獻:

[1]趙強,單煒.大數據政府創新:基于數據流的公共價值創造[J].中國科技論壇,2014(12):23-27.

[2]徐繼華,馮啟娜,陳貞汝.智慧政府:大數據治國時代的來臨[M].北京:中信出版社,2014.

[3]李文蓮,夏健明.基于“大數據”的商業模式創新[J].中國工業經濟,2013(5):83-95.

[4]侯錫林,李天柱,馬佳,等.大數據環境下企業創新機會研究[J].科技進步與對策,2014,31(24):82-86.

[5]張峰,張迪.論大數據時代科研方法新特征及其影響[J].科學學研究,2016,34(2):166-170,202.

[6]王玉林,高富平.大數據的財產屬性研究[J].圖書與情報,2016(1):29-35,43.

[7]齊愛民,盤佳.數據權、數據主權的確立與大數據保護的基本原則[J].蘇州大學學報:哲學社會科學版,2015(1):64-70.

[8]劉朝陽.大數據定價問題分析[J].圖書情報知識,2016(1):57-64.

[9]劉洪玉,張曉玉,侯錫林.基于討價還價博弈模型的大數據交易價格研究[J].中國冶金教育,2015(6):86-91.

[10]翟麗麗,王佳妮,何曉燕.移動云計算聯盟企業數據資產評估方法研究[J].價格理論與實踐,2016(2):153-156.

[11]史宇航.個人數據交易的法律規制[J].情報理論與實踐,2016,39(5):34-39.

[12]殷建立,王忠.大數據環境下個人數據溯源管理體系研究[J].情報科學,2016,34(2):139-143.

[13]王忠.大數據時代個人數據交易許可機制研究[J].理論月刊,2015(6):131-135.

[14]楊琪,龔南寧.我國大數據交易的主要問題及建議[J].大數據,2015(2):38-48.

[15]唐斯斯,劉葉婷.我國大數據交易亟待突破[J].中國發展觀察,2016(13):19-21.

[16]李國杰,程學旗.大數據研究:未來科技及經濟社會發展的重大戰略領域——大數據的研究現狀與科學思考[J].中國科學院院刊,2012(6):647-657.

關鍵字:數據缺失數據資源

本文摘自:《圖書情報知識》

x 融合數據分析服務的大數據交易平臺研究 掃一掃
分享本文到朋友圈
當前位置:大數據業界動態 → 正文

融合數據分析服務的大數據交易平臺研究

責任編輯:editor004 作者:宋梅青 |來源:企業網D1Net  2017-11-06 11:27:23 本文摘自:《圖書情報知識》

1 引言

目前發展大數據產業已經上升為國家戰略,大數據的價值也得到了社會的廣泛認可。眾多研究[1-5]表明,大數據不僅為政府治理開辟了新思路,還是企業創新的重要源泉和高校科研的重要支撐。大數據交易平臺是整個大數據產業的基礎與核心,它使得數據資源可以在不同組織之間流動,從而讓單個組織能夠獲得更多、更全面的數據。這樣不僅提高了數據資源的利用效率,更重要的是,當一個組織擁有的數據資源不斷豐富和立體化,有助于其通過數據分析發現更多的潛在規律,從而對內提高自身的效率,對外促進整個社會的不斷進步。

在現有的大數據交易平臺上,數據供應方和需求方各自發布供需信息,交易雙方瀏覽這些信息,如果發現合適的交易對象,則進行大數據資源的買賣,交易平臺只作為信息中介存在。這類大數據交易的本質,其實是單獨的大數據資源交易,現有平臺可以統稱為第一代大數據交易平臺。第一代大數據交易平臺在供需平衡、數據定價和時效性三個方面都存在較大的不足。本文針對這些不足進行改進,設計了一種全新的第二代大數據交易平臺,命名為:融合數據分析服務的大數據交易平臺,該平臺將數據資源交易與數據分析服務進行深度融合,實現了數據與服務的一體化交易。本研究不僅為當下正在建設的各類大數據交易平臺提供有益的借鑒,也豐富了大數據交易的基礎理論體系。

2 相關研究

目前大數據交易的相關研究中,比較有代表性的有:

(1)大數據的財產屬性和所有權。王玉林等[6]對大數據的財產屬性展開研究,認為大數據的法律屬性會直接影響大數據產業的發展,而大數據交易實踐本身就反映出大數據具有財產屬性。但大數據與傳統的財產權客體存在較大不同,它符合信息財產的特征,是信息財產權的客體,應受到相關法律的保護。齊愛民等[7]從宏觀的角度分析了國家對于其主權范圍內數據的所有權,剖析了個人擁有的數據權以及數據的財產權。

(2)大數據的定價問題。劉朝陽[8]對大數據的定價問題展開研究,首先分析了大數據的基本特征、價值特征等定價基礎。接著討論了效用價格論、成本價格論等定價模式。最后分析了大數據的定價策略,并對大數據定價的雙向不確定問題進行了詳細論述。劉洪玉等[9]認為在大數據交易過程中,由于缺乏足夠的歷史參考,其數據資源的交易價格很難確定,因此提出一種基于競標機制的魯賓斯坦模型,用于大數據交易雙方進行討價還價,以求達成一個交易的均衡價格。翟麗麗等[10]從資產的期權價值角度來評估大數據資源的價值,并指出數據在不斷變化和更新,加上數據的非獨占性等情況的出現,數據資產的價值可能會下降,最后綜合這些因素構建了一個評估模型來計算數據資產的價值。

(3)大數據交易的安全與隱私保護。史宇航[11]認為非法的數據交易會對個人數據等高價值信息的安全造成影響,對非法數據交易的購買方和協助方都應進行處罰。提出應先明確數據的法律屬性,再以數據交易所為平臺進行交易,并對數據交易所的法律地位進行了分析。殷建立等[12]為應對大數據時代數據采集、交易等過程中的安全問題,綜合考慮技術、政策和管理平臺等方面的因素,構建了一種個人數據溯源管理體系,該體系可在數據應用時實現個人數據的追蹤溯源,從而保護其個人隱私。王忠[13]認為大數據環境下強大的數據需求會導致個人數據的非法交易,為應對這種情況,應該建立個人數據交易許可機制,通過發放交易許可證、拍賣授予等措施實現隱私保護。

(4)大數據交易的發展現狀與問題。楊琪等[14]認為我國的大數據交易還處于行業發展的早期,大量數據源未被激活,原因是大數據產業價值鏈的各個專業環節發展滯后,并且對數據交易中的安全問題和隱私泄露等有較大的擔憂。應該對數據產品進行改造,使其更商品化,并且通過政府開放公共數據等措施逐漸消除數據流通中的安全顧慮。唐斯斯等[15]首先分析了我國大數據交易的發展特點、交易類型等現狀,接著指出目前大數據交易存在法律法規相對滯后、行業標準不完善、交易平臺定位不明確、數據質量不高等問題,最后提出應加快相關法律和標準建設,并推動數據開放,加強交易方式的創新。

除了上述四個主要研究方向以外,李國杰等[16]從理論的角度分析了大數據研究在行業應用和科學研究方面的重要作用,這從客觀上反映了大數據流通的必要性。涂永前等[17]認為大數據時代企業管理和運用數據資源的相關成本會成為企業的主要交易成本,這會改變企業的組織結構,并導致企業邊界的變化,企業會進行多方向的擴張,這為促進大數據產業發展的相關法律的制定提供了理論支持。總的來看,由于大數據交易本身屬于較新的領域,因此相關研究總體上較少,已有研究也大多集中在上述幾個研究方向上。實際上,大數據交易平臺是實現大數據交易的重要載體,是大數據資源流通轉換的主要節點,交易平臺本身需要隨著整個大數據產業的發展,不斷的改進和升級,而現有研究中恰恰缺少對大數據交易平臺本身進行創新的研究。由此,本文針對現有大數據交易平臺的不足,結合實際設計了一種全新的融合數據分析服務的大數據交易平臺,為實踐和科研提供借鑒和參考。

3 現有大數據交易平臺的不足

大數據本身作為一種新興事物,當把它作為一種商品進行交易時,其交易平臺的設計很自然會參照傳統的商品交易模式,即:交易雙方先發布供求信息,再經過討價還價,達到一個均衡的價格則成交,賣方將大數據資源經過脫敏處理后,交付給買方。目前無論是政府主導的大數據交易所,還是企業或者高校創建的大數據交易平臺,都是采用類似的交易模式,這也是第一代大數據交易平臺的突出特點。實際上大數據與傳統商品有很大的區別,照搬傳統商品的交易模式會出現很多問題。本文將從供需平衡、數據定價和時效性三個方面分析現有大數據交易平臺的不足。

3.1 數據供需的錯配

現有大數據交易平臺的第一點不足就是數據供需的錯配,即:供應方提供的數據資源往往不是需求方所需要的,而需求方需要的數據在交易平臺上找不到,即使有相近的數據資源,也存在很大的數據缺失或冗余,買回去也無法使用。對數據供應方來說,由于無法準確預知數據買方多樣性的需求,它只能從自身角度出發,將可以公開的、并且自認為有價值的數據資源放到平臺上待售。對需求各異的買方來說,供應方提供的標準數據很難與自己的應用方向精準匹配,這也是目前大數據交易還不夠活躍的原因。當然,當供需雙方建立初步聯系以后,供應方甚至可以為需求方個性化定制大數據資源,但即使這樣,供需錯配的問題仍然無法解決,原因就在于單個的數據供應方無法提供多維的數據資源,只有多維的數據資源才具有較高的分析價值。

3.2 大數據資源定價困難

大數據資源定價困難是現有大數據交易平臺的第二點不足。大數據資源和普通商品不同,普通商品可以直接消費或者作為再加工的原材料,其價值都可以通過最終的消費品價格得到體現。而大數據本身的價值無法直接衡量,需求方購買它的目的是作為數據分析的信息源,但是否能發現潛在的規律還未可知。因此無法在購買前,準確判斷出待售數據資源的價值大小。此外,需求方在不確定某大數據資源是否能真正能給組織帶來收益情況下,很難給出一個較高的價格,這在客觀上會影響數據供應方的交易積極性,加大了供需雙方達成交易的難度。

3.3 數據的時效性不強

現有大數據交易平臺的第三點不足,就是數據資源的時效性不強。目前很多大數據交易平臺上待售的數據資源都以歷史數據為主,這是因為數據資源在交易前需要經歷脫敏處理,將涉及政府信息安全、企業商業機密和個人隱私等敏感信息進行變換和替代。此外,供應方還需要對原始數據進行初步的清洗,整理成一定的數據格式集中存貯和交付,方便需求方進行數據分析。由于一般的數據供應方并不具備對大數據進行實時脫敏和清洗的能力,只能將采集到的數據資源,經過一段時間的離線處理后,再放到交易平臺上,所以只能供應歷史數據。隨著社會節奏的不斷加快,歷史數據很可能并不能反映當下的真實情況,越來越多的數據分析都需要用到實時數據作為信息源,這是未來大數據交易必須克服的一個短板。

4 融合數據分析服務的大數據交易平臺設計

本文提出將數據分析服務融合到目前的大數據交易中,以此來克服現有交易平臺的不足,本節將首先對數據分析服務進行概念界定,再依次介紹平臺設計的總體思路和核心模塊的設計,具體如下。

4.1 數據分析服務的概念界定

數據分析是指運用各類數據處理模型和信息技術手段,對數據資源進行深度的挖掘,從而發現其中蘊含的規律,作為管理決策的依據。數據分析本身是一種能力,如果一個組織將其數據分析能力提供給其他組織或個人,并收取一定的費用,這就是數據分析服務。在大數據環境下,數據資源不僅體量巨大而且種類多,對數據分析能力的要求不斷提高。在這種情況下,只有少數組織具備獨立處理大數據的能力,其他的組織比如大量的中小企業,都需要從組織外部尋求專業的數據分析服務,來滿足自身的需要。因此,數據分析服務和大數據資源一樣存在巨大的市場需求。

4.2 平臺設計的總體思路

本文將提出的融合數據分析服務的大數據交易平臺,定位為第二代大數據交易平臺,它將大數據資源交易與數據分析服務兩者進行深度融合,在交易平臺上實現數據與服務的一體化交易。大數據交易平臺的角色也從原來的數據資源買賣的信息中介,轉變為大數據綜合服務商。在融合后的大數據交易平臺上,數據需求方不再提交數據資源的需求信息,而是直接提出自己的應用方向和想要得到的結果,交易平臺再根據需求方的應用方向,反向匹配數據資源和數據分析服務。這個匹配的過程不是單一的數據集或服務的查找,而是對全平臺的數據資源進行有效整合,形成高價值的多維數據,再結合復合型的數據分析技術,得到最終的分析結果,最后將分析結果與基礎數據一同交付給需求方。交付基礎數據的目的,一是方便需求方進行分析結果的對照,為決策提供更精準的參考。二是需求方可以根據基礎數據進行衍生挖掘,進一步提高數據的利用效率。平臺設計的總體思路繪制成圖1。

 

4.3 核心模塊的設計

融合數據分析服務的大數據交易平臺共劃分為四大模塊,具體如圖2所示。

  圖2 融合數據分析服務的大數據交易平臺的主要模塊

系統管理模塊具體又分為用戶管理、系統維護和安全管理。安全管理是系統管理模塊的重點,主要包含三個方面的功能:第一,負責整個交易平臺的系統安全,通過對交易平臺進行實時監控,阻止外部的非法入侵行為,保障平臺的正常運行。第二,對數據供應方提交的數據資源進行審核,如果發現是非法數據,則阻止其交易,并及時將有關情況反饋給相關的政府監管部門,由它們進行調查處理。第三,檢查所有數據是否經過脫敏處理。如果發現部分數據存在未脫敏或者脫敏不合格的情況,交易平臺將負責對該數據資源進行脫敏處理,從而保護數據中的隱私不被泄露。

大數據資源池模塊、數據分析服務模塊和協同模塊是交易平臺的三大核心模塊,是數據與服務兩者融合并實現一體化交易的關鍵,本文接下來將對這三個核心模塊的功能進行詳細設計。

4.3.1 大數據資源池模塊

大數據資源池模塊主要包含三個方面的功能:數據資源格式的整理、數據的多維度整合、大數據資源的云存貯。具體如下。

(1)數據資源格式的整理。由于大數據交易平臺上的數據資源來自不同的數據供應方,因此其數據資源的格式會有較大的差異。如果不經過格式整理就直接進行數據分析,很可能會因部分數據無法準確讀取,而影響數據處理的效率,嚴重者還會導致數據分析中斷。數據資源格式整理的主要任務是將同一類型數據的格式進行統一,對部分缺失的數據屬性進行補充,對錯誤的數據格式進行修正。

(2)數據的多維度整合。在上文3.1中提到供需錯配的一個重要原因,就是單個數據供應方無法提供高價值的多維數據。所謂多維數據是包含用戶或者行業多個背景和情境的大數據資源,這些多維數據使用戶或行業多個側面的信息產生了關聯,有利于發現深層次的潛在規律。融合數據分析服務的大數據交易平臺應該作為數據整合的主體,將單個數據供應方提供的零散的數據資源,進行多維度的整合,當缺少某一個維度的數據時,再向相應的數據供應方進行定向的采集,最后得到相對完整的多維數據,具有很高的分析價值。

(3)大數據資源的云存貯。大數據資源經過格式整理和多維度整合以后,已經可以作為數據分析服務的信息源。下一步就是將這些數據資源進行統一的云存貯,以便數據分析服務調用。以往部分大數據資源由于體量巨大或實時更新的需要,無法上傳到交易平臺上,或者只提供部分調用接口。融合數據分析服務的大數據交易平臺通過建立云存貯中心,將整合后的多維數據進行統一存放和調用,有助于提高數據資源的存取效率。

4.3.2 數據分析服務模塊

數據分析服務模塊首先根據數據需求方的應用方向,匹配出合適的多維數據資源,再選擇相應的數據分析模型分配所需的計算能力,最后將得到的分析結果反饋給需求方。本文將數據分析服務劃分為三個大類:基礎性分析服務、高級分析服務、深度定制的分析服務。具體如下。

(1)基礎性分析服務。基礎性分析服務是指那些常規的數據統計,比如:總體中不同對象的占比分析,基于不同屬性的關聯分析或相關性分析等。這些分析服務耗時較短,分析技術較為簡單,只要數據資源本身完備,就可以迅速得到結果。基礎性分析服務由大數據交易平臺本身來提供,可以面對不同的需求方,實現快速交付。

(2)高級分析服務。高級分析服務是指那些較為復雜的數據分析服務,比如:精準的趨勢預測、全面的用戶興趣畫像、非結構化的信息挖掘等。這些分析服務需要大量專業的數據處理技術,比如:興趣建模、視頻分析,音頻分析、深度語義分析等,必須由大數據交易平臺對接第三方的數據分析服務商,由它們來提供高級分析服務。大數據交易平臺在同一數據分析領域,應引入多家數據分析服務商,通過動態的競爭,來保證服務的質量。

(3)深度定制的分析服務。大數據分析目前還處在快速發展階段,很多前瞻性的技術還在試驗當中,應該說數據分析技術的發展相對于旺盛的現實需求來說是滯后的。當需要用的某一數據分析技術,在目前的市場上還找不到現成的提供方時,就需要大數據交易平臺為其進行深度的定制,交易平臺通過多方位的研發能力評估,尋找合適的技術主體來進行專門的技術攻關。

4.3.3 協同模塊

協同模塊主要包含兩個方面的功能:數據分析服務之間的技術協同、交易各方的管理協同。具體如下。

(1)數據分析服務之間的技術協同。在面臨較為復雜的數據分析任務時,可能需要用到多個領域的數據分析技術,這時單個的數據分析服務商可能無法獨立完成。因為不同的行業領域,都有其行業技術的獨特性,需要長時間的專業積累。在這種情況下,就需要多個數據分析服務商相互合作才能完成。數據分析服務之間的技術協同,就是通過一定的技術標準和操作規范,讓多個數據分析技術提供方,能夠在完成同一任務時,在技術上不沖突,能夠相互并行的完成對數據資源的處理,按時按質的交付最終的分析結果。

(2)交易各方的管理協同。在融合數據分析服務的大數據交易平臺上,交易的參與者一共有四類,分別是數據資源的供應方、數據分析服務商、需求方和交易平臺自身。數據需求方在提交自己的應用方向和預期結果的同時,提交自己的交易預算。交易平臺根據需求方提交的應用方向和預期結果,對數據資源和數據分析服務進行反向的選擇。如果數據分析任務中只用到了基礎性分析服務,則整個交易為平臺方、需求方、數據資源供應方的三方交易。如果某數據分析任務,平臺自身無法完成,需要用到第三方的數據分析服務商,則整個交易包含了全部四類參與者,是一個四方交易。交易的基本原則是實現參與各方的利益共享。交易各方的具體利益分配如圖3所示。

  圖3 交易各方的利益分配

需求方希望在獲得預期結果的同時,其支付的成本在可接受的范圍內。交易平臺在對數據和服務進行反向匹配后,會出現兩種不同的情況:第一種情況是在原交易預算下,可以達到需求方預期的結果,則可成交。第二種情況是,原交易預算較低,在該預算下無法達到需求方要求的結果,這時交易平臺會和需求方溝通,提出新的報價,需求方經過考慮后,與平臺進行討價還價,它們在價格上達成一致時才能完成交易。由于交易數據是整合后的多維數據,因此原始數據資源供應方的收益,由平臺從總交易價中支付,具體的支付方式可分為平臺一次性買斷或按次數支付。同一數據資源對于不同的需求者來說,其價值是不一樣的,融合數據分析服務的大數據交易平臺根據最終的一體化交易成交價,反向對數據資源進行定價,相對于現有的大數據交易平臺來說,是一種進步。交易平臺的深度參與,會使數據交易的頻率加快,原始數據資源供應方會獲得更多的收益。數據分析服務商根據具體的數據分析任務,直接參與由平臺發起的競價,達成交易后由平臺支付。交易平臺本身的收益則是需求方支付額減去其他各方收益的差價。

5 融合數據分析服務的大數據交易平臺的優勢

本文3.1到3.3中指出現有大數據交易平臺存在數據供需錯配、大數據資源定價困難、數據的時效性不強三大不足。融合數據分析服務的大數據交易平臺作為改進后的第二代大數據交易平臺,可以很好地克服上述三點不足。除了這三個方面的優勢以外,由于融合后可實現數據與服務的一體化交易,這將擴大交易對象的覆蓋范圍,提升交易的活力,具體如下。

5.1 直接面向應用,從根本上避免了數據供需的錯配

在融合數據分析服務的大數據交易平臺上,需求方對交易平臺直接提出應用方向和預期結果。交易平臺對全平臺的數據進行多維度整合,如果缺失某個維度的數據,可以進行定向的采集和補充,最后形成高價值的多維數據。這些多維數據才是真正具有分析價值的數據資源,這是單個數據供應方無法提供的。在得到多維數據后,結合平臺自身和第三方數據服務商的分析能力,得到最終的分析結果。交易平臺最后交付給需求方的是數據分析結果和基礎數據,這種直接面向最終應用的大數據交易方式,從根本上避免了數據供需的錯配。

5.2 融合后定價更有根據

在現有的大數據平臺上,數據需求方是將數據資源買回去以后自己分析,而在購買數據資源之前,不能預知數據分析效果的好壞,因此無法進行有效的價值判斷,這是定價困難的關鍵點。在融合數據分析服務的大數據交易平臺上,需求方不再直接對數據資源付費,而是對最終的數據分析結果付費,并且數據分析結果是根據需求方的要求反向定制的,是符合需求方利益的。需求方可以通過評估預期結果對自身的重要性或收益的改進程度,給出適當的交易預算。交易平臺以該預算為參照,對數據和服務進行選擇,若出現原預算約束下無法實現預期結果的情況,交易平臺再與需求方進行溝通,雙方討價還價后達成交易。這樣相對于現有的大數據交易平臺來說,融合后定價更有依據。

5.3 融合后可提供實時數據

在融合數據分析服務的大數據交易平臺上,數據資源采用云存貯的模式,由平臺進行統一管理,這提高了數據資源的安全性。在數據安全有保障的前提下,由交易平臺出面和數據資源供應方進行實時數據的對接,將實時數據納入大數據資源池中。對于單個的數據資源供應方來說,實時的數據脫敏難度太大。但大數據交易平臺不一樣,它可以利用規模優勢,組建強大的計算能力,對大數據資源進行實時的脫敏和清洗,極大地提高了數據資源的時效性。

5.4 融合后將擴大交易對象的覆蓋范圍,提升交易的活力

融合后可實現數據和服務的一體化交易,讓很多自身不具備數據分析能力的組織和個人,也能方便地利用大數據,特別是大量的中小企業,這將大大增加交易對象的覆蓋范圍。

交易對象的增多會促進交易頻率的增長,從而為數據資源供應方帶來更多的收益,這樣會提升它們參與交易的積極性,鼓勵它們供應更多的數據資源,從而提升交易的活力,整個大數據交易行業就形成了正向循環的良好發展態勢。

6 結語

本文對大數據交易平臺本身進行了改進與創新,設計了一種全新的第二代大數據交易平臺,即:融合數據分析服務的大數據交易平臺。該交易平臺可以直接面向需求方的應用方向,實現數據和服務的一體化交易,不僅從根本上避免了數據供需的錯配,還使大數據交易的定價更有依據,平臺的深度參也讓提供實時數據成為可能,這些將從整體上提升大數據交易的效率。融合后數據和服務的一體化交易降低了大數據應用的技術門檻,鼓勵更多組織和個人參與,增加了交易活力。未來筆者將繼續關注大數據交易平臺的創新研究,為實際應用和學術科研提供更多有益的參考。

參考文獻:

[1]趙強,單煒.大數據政府創新:基于數據流的公共價值創造[J].中國科技論壇,2014(12):23-27.

[2]徐繼華,馮啟娜,陳貞汝.智慧政府:大數據治國時代的來臨[M].北京:中信出版社,2014.

[3]李文蓮,夏健明.基于“大數據”的商業模式創新[J].中國工業經濟,2013(5):83-95.

[4]侯錫林,李天柱,馬佳,等.大數據環境下企業創新機會研究[J].科技進步與對策,2014,31(24):82-86.

[5]張峰,張迪.論大數據時代科研方法新特征及其影響[J].科學學研究,2016,34(2):166-170,202.

[6]王玉林,高富平.大數據的財產屬性研究[J].圖書與情報,2016(1):29-35,43.

[7]齊愛民,盤佳.數據權、數據主權的確立與大數據保護的基本原則[J].蘇州大學學報:哲學社會科學版,2015(1):64-70.

[8]劉朝陽.大數據定價問題分析[J].圖書情報知識,2016(1):57-64.

[9]劉洪玉,張曉玉,侯錫林.基于討價還價博弈模型的大數據交易價格研究[J].中國冶金教育,2015(6):86-91.

[10]翟麗麗,王佳妮,何曉燕.移動云計算聯盟企業數據資產評估方法研究[J].價格理論與實踐,2016(2):153-156.

[11]史宇航.個人數據交易的法律規制[J].情報理論與實踐,2016,39(5):34-39.

[12]殷建立,王忠.大數據環境下個人數據溯源管理體系研究[J].情報科學,2016,34(2):139-143.

[13]王忠.大數據時代個人數據交易許可機制研究[J].理論月刊,2015(6):131-135.

[14]楊琪,龔南寧.我國大數據交易的主要問題及建議[J].大數據,2015(2):38-48.

[15]唐斯斯,劉葉婷.我國大數據交易亟待突破[J].中國發展觀察,2016(13):19-21.

[16]李國杰,程學旗.大數據研究:未來科技及經濟社會發展的重大戰略領域——大數據的研究現狀與科學思考[J].中國科學院院刊,2012(6):647-657.

關鍵字:數據缺失數據資源

本文摘自:《圖書情報知識》

電子周刊
回到頂部

關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 姜堰市| 九龙坡区| 洪泽县| 蓬溪县| 建始县| 河北省| 鹤岗市| 信宜市| 绥德县| 祥云县| 和田县| 长沙市| 罗城| 卓资县| 昭通市| 宁陵县| 乃东县| 健康| 开封市| 牟定县| 朝阳区| 赤峰市| 阜新市| 大安市| 砀山县| 青浦区| 营口市| 美姑县| 渭南市| 浠水县| 岢岚县| 略阳县| 南宁市| 阿拉善盟| 都兰县| 赣榆县| 自贡市| 蓝田县| 藁城市| 英超| 翁源县|