數據共享存在的問題
共享是當下非常流行的一個詞匯。在我們掌握資源不充足的情況下,通過其他資源的擁有者提供有價值的資源和信息形成合力是共享的現實目的。視頻內容共享平臺(以下稱共享平臺)大致位于PAAS層,其必然以視頻為核心共享資源,以數據為主要接入領域,以共享為核心精神理念,突出了能力開放,并且可以內嵌數據碰撞技術。共享平臺的任務應該是將資源分門別類地管理起來,將獲取的非視頻類數據存入數據湖進行存儲、碰撞和關聯,并且提供能力開放中間件,針對各種應用場景提供最大限度的開放能力特別是視頻和數據能力,有效地降低SAAS層業務軟件的開發門檻。
傳統的共享平臺,其著重點在“平臺”,因此其產品多是類似某某系統某某客戶端這樣的看得見摸得著的東西。本文中提到的共享平臺,其著重點在“共享”,其產品是服務和能力而不是具體的客戶端或者某某系統。具體呈現等這些可見化產品可以由第三方來完成。
數據共享存在的問題
異構排他
在不同廠家的數據平臺建設中,由于各個廠家內行的運行機制和報文協議的差異,導致兩兩不同廠家的數據平臺往往不能直接互通,我們稱這種現象為“異構排他”。在這種環境下,無論是交互的報文還是流轉的數據,必須通過修正才能無縫地銜接到另一方的平臺中從而實現單向共享。
組網復雜
在智慧城市領域組網情況較為復雜,尤其是政務辦公系統和平安城市系統,其網絡環境包括視頻專網、視頻內網、政府政務辦公網、互聯網等。兩兩單位之間的互傳,往往要跨越數個網絡環境,而中間也必然包含了網閘、安全接入平臺、NAT服務器等多種網絡設備,在向公眾發布數據資源的時候還要考慮CDN的影響。
所有這些,構成了復雜組網情況下資源互通的通路性障礙。尤其是在處理視頻、交警過車等大流量數據的時候,需要對每種組網情況進行數據的針對性包裝,并且在交互的時候要根據每種網絡設備的情況進行特定的交互處理。
海量數據
智慧城市領域中的數據是包羅萬象的,其中交通領域的過車信息、公安領域的視頻監控都是海量的數據。這些數據動輒以億條/TB為單位,他們的傳輸、存儲、管理等都面臨著空前的壓力和困難。
穩定性傳導
不同廠家的產品其穩定性、使用性、兼容性參差不齊,在數據資源的供給側,如果數據生產和傳輸的服務宕機會影響到整個數據鏈路的傳輸和穩定,并且最終體現在數據資源的消費側,這對于數據平臺的集成方是一個不可忽視的問題。
安全控制
安全控制體現在權限管理、數據加密、入侵檢測、反病毒等多個方面。由于異構問題,導致權限兼容性差,未考慮邊緣問題等;并且同樣由于異構問題,導致核心信息需采用明文傳輸;在互聯網一側,由于遠程過程調用權限甚至服務器權限的開放,導致種種異常主機入侵和非法模塊注入的問題。
你認為的共享平臺是這樣的?
<1 2 3 4 >閱讀全文
共享平臺建設輔助技術共享平臺作為PAAS層的平臺,提供的是能力和服務,當然也可以基于能力和服務開發具體的SAAS層產品,但不是主業,從這個意義上說,共享平臺就是能力開放中間件。以下技術可以使共享平臺架構更加合理、安全性更高,兼容性更強,資源分類和提供更加智能化。
1、綜合管理技術
共享平臺集成多種數據資源,必然需要用到綜合管理技術。以Activity工作流機制驅動綜合管理,可以根據現場不同的業務需求場景自定義工作流模板,表單可以復用,極大地簡化了定制開發工作量。ProcessEngine對象和Activity工作流引擎是Activiti工作的核心,負責生成流程運行時的各種實例及數據、監控和管理流程的運行。目前主流的工作流框架還有:JBPM、OSWorkFlow、WorkFlow等,都可以用來改進綜合管理的細節。
圖 1 Activiti 引擎的系統服務結構圖
2、深度學習和大數據技術
目前主流的智能分析產品均已采用了深度學習技術。相較于深度學習,淺度學習(例如adaboost算法)是基于統計模型的機器學習算法。利用BP(反向傳播)算法讓一個人工神經網絡模型從大量訓練樣本中學習統計規律,從而對未知事件做預測。這種基于統計的機器學習方法比起早先基于人工規則的系統,在很多方面顯出優越性。這種人工神經網絡,雖也被稱作多層感知機(Multi-layer Perception),但實際是種只含有一層隱層節點的淺層模型。
深度學習的實質,是通過構建具有很多隱層的機器學習模型和海量的訓練數據,來學習更有用的特征,從而最終提升分類或預測的準確性。因此,“深度模型”是手段,“特征學習”才是目的。
區別于傳統的淺層學習,深度學習的不同在于:1)強調了模型結構的深度,通常有許多層的隱層節點;2)明確突出了特征學習的重要性,也就是說,通過逐層特征變換,將樣本在原空間的特征表示變換到一個新特征空間,從而使分類或預測更加容易。與人工規則構造特征的方法相比,利用大數據來學習特征,更能夠刻畫數據的豐富內在信息。因此深度學習與大數據的結合是共享平臺的重要特征。
3、安全防御技術
針對共享類平臺,尤其是互聯網平臺的安全防御是非常重要的。安全防御包括網絡安全、web安全、防入侵、防注入、重要信息加密、權限管理等策略。因此共享平臺需要對安全防御做出規劃。
針對重要核心信息可以采用加密存儲和傳輸的策略,并且規劃合理的分層級的權限管理策略,尤其是針對流媒體、文件媒體等資源,需要經過認證才能申請。
共享平臺可以采用核心軟件硬件化的策略防止不良模塊注入,并通過對重要系統調用掛鉤的方法監控調用參數和調用行為,將這些參數和行為匯總到安全監控模塊,并通過大數據模塊的分析產生常見調用行為和罕見調用行為的分析報表。
共享平臺也可以采用安裝過濾型驅動的方法監控網絡流量。例如基于winpcap方式堆疊在NIC驅動之上,在鏈路層即開始監控網絡流量信息,繞過NDIS、TCPIP協議驅動和AFD。
一般來說,過濾得越底層,防入侵側級別和安全性越高。這些大量的流量信息,包括源端和目的端、報文長度等細節,可以作為重要數據源匯聚到大數據模塊,作為流量分析、網絡異常監控的主要依據。
圖2 網絡協議棧驅動結構圖
<1 2 3 4 >閱讀全文
共享平臺建設輔助技術4、流媒體處理和傳輸技術
基于平安城市領域的建設基礎和互聯網視頻發展的大趨勢,尤其是當今三屏合一技術的發展,共享平臺應該針對性地對管轄內的視頻流進行了整合和協議優化,例如可以針對公安網、政務網、互聯網三大共享領域規劃對應的兩個能力輸出中間件模塊,并針對視頻、圖片、文本數據三種數據類型分別予以考量。
基于公安網系統同時也應考慮了網閘和安全接入平臺的存在。在具備安全接入平臺或網閘的情況下,要考慮其過濾傳輸的速度,因此在大數據量的并發上可以采取一定的限制措施和存儲策略,盡量減輕網閘設備的負擔。并且采用最標準和通用的協議及方式進行協商會話。
例如GB28181、RTSP、RTMP、webservice等,特別是對于流媒體的處理,既支持PSTSRTP以及特定封裝等方式的流式打包,又支持H.264、H.265、SVAC的編解碼和轉碼,同時支持從1080P到CIF分辨率和多碼率的自適應轉換。為了支持傳輸和存儲的要求,也可以增加了基于SVC時域模型策略的抽幀。這是共享平臺第一個能力輸出中間件的使命。
基于政務網和互聯網系統既要考慮網閘等因素的存在,也要考慮在互聯網條件下的大規模共享和展現。這是共享平臺第二個能力輸出中間件的任務。為了適應三屏合一和互聯網共享的要求,共享平臺的門戶頁面可以采用Html5技術,流媒體可支持RTMP和Http live streaming兩種共享機制,并且HLS的TS分片可以自定義長度,對于MMS和MPEG-DASH這樣不怎么常用的協議也需要支持。這對于移動互聯網條件下的傳輸有很大意義。
針對家庭店鋪和小區安防,共享平臺應支持多種私網穿越手段,最大限度地接入這些設備和平臺,并選用這些手段中最佳的傳輸策略保證傳輸質量。共享平臺對于視頻的封裝除了支持第一個中間件的流式封裝外,也需要支持文件態封裝,包括FLV、MP4、RMVB、AVI、webM、3GP、WMV、MKV、MPG、VOB、MOV等格式,以便于互聯網條件下的視頻傳播,使廣大人民享受智慧城市建設帶來的紅利。
5、存儲/緩存技術
數據可以分為文本數據、圖片、視頻三類。對于文本數據可存于大數據平臺中,而對于圖片和視頻則既可以存于IPSAN/NAS系統中,也可以存于直連式存儲系統中,更可以存入公有/私有云系統中。存儲的速度取決于網絡傳輸速度或磁盤IO的速度。
同時,共享平臺的流媒體服務針對互聯網共享應用,可以優化緩存存儲策略,例如可以在流媒體服務端提出合理的緩存置換策略,以片源文件為單位對其進行訪問熱度標記,通過加載filter driver的方式對操作系統中的IO管理器進行干預,屏蔽原來的緩存管理策略,針對性地優化內存頁面和磁盤頁面的倒換機制,使訪問更加迅速,內存頁面的駐留更加合理和有針對性。
6、數據接入接出技術
共享平臺的數據接入接出技術主要包括設備接入、數據資源平臺接入接出三方面,并且要考慮復雜組網條件下的互通策略。一般來說,站在軟件平臺的角度,我們把設備和平臺的接入叫做南向,平臺的被接入稱為北向。其中囊括的接入接出方式包括:
基于二進制編碼協議方式:多見于物聯網設備串并口接入方式,傳輸的數據量較小,多用于傳輸控制或告警信息,讀取的基本單位是bit。一條控制報文一般只有幾個字節。
基于私有報文的協議方式:多見于物聯網設備廠家接入領域。例如鐵塔B接口、移動B接口、廠家私有協議等。這類協議有的是基于二進制方式編碼的,有的是基于HTTP方式編碼的,也有的是基于自定義格式編碼的。
基于HTTP協議方式:多用于控制報文,在http協議報文頭/體中封裝了廠家/協會自定義的控制信息。例如視頻監控領域的onvif協議的控制部分就是基于http的。
基于SIP方式的協議:多用于,對于視頻會話管理有著原生的支持性和融合性。GB28181就是基于sip方式的協議。
基于RTSP協議:用于流媒體傳輸控制,onvif協議的流媒體部分采用rtsp協議。
基于RTMP協議:同樣用于流媒體傳輸,包括RTMP基本協議及RTMPT/RTMPS/RTMPE等多種變種,是flash等播放器和視頻互聯網站支持的協議。
基于hls協議:同樣用于流媒體傳輸,針對CDN有良好的跨越性和操作系統兼容性,有HTTP FLV Live Stream、HTTP TS Live Stream、HTTP MP3 Live Stream、HTTP AAC Live Stream等幾個子版本,實時性低于RTSP和RTMP協議。
基于snmp協議:簡單網絡管理協議,主要見于運維領域,一套完整的SNMP系統主要包括管理信息庫(MIB)、管理信息結構(SMI)及SNMP報文協議。在某些情況下也用作監控類設備的接入協議。
SDK方式:在目前標準化的大格局下,sdk方式正逐漸沒落。
Webservice方式:基于http+soap協議,是對接數據類型資源的一種方式,調用者稱為client端。
另外,共享平臺也支持私網穿越方式平臺和設備接入接出,并且針對安全接入平臺和網閘有良好的透傳支持性。
7、交換總線技術
交換一般分為主機間交換和主機內交換兩種。主機間交換可以采用TCPIP協議方式,也可以采用串并口方式,或者其他物理交換方式,例如外掛的物理交換設備,通過自帶的驅動程序協商傳輸。在面對遠程傳輸事務的時候TCPIP是僅有的手段,不管是采用協議方式交互還是采用流式方式封裝傳輸視頻;也不管是采用webserviceSDK還是采用RPC,其本質都是TCPIP。
因此,主機間交互特別是長距交互的方式是TCPIP,拋開上層軟件的處理速度,其性能瓶頸在交換、路由等節點和自身網卡的上下行能力。短距離傳輸除了TCPIP方式,串口的交換速度更低,而類似盤片交換等手段,速率受設備影響不一而足,不具備代表性,但是最常用的也是TCPIP。
主機間交互可以不采用TCPIP手段,而采用IPC或內存映射等機制予以實現。例如報文的傳輸可以采用管道技術、報文隊列等,文件的交換可以采用內存映射+同步機制手段予以實現。由于不采用TCPIP,因此無需經過winsocket和AFD、TCPIP協議驅動,傳輸效率很高。以上兩種,從廣義上來講可以稱之為交換總線技術。
<1 2 3 4 >閱讀全文
視頻內容共享平臺實現的價值實現的價值
可融合:共享平臺名為共享,但是隱含的前提條件卻是融合。只有可融合才有數據可以共享或者把數據共享給別人。可融合是共享平臺的第一要素。
可標注:共享平臺可以支持對重點資源進行標簽標注,標注后的資源能夠被快速搜索到,同時也支持個性化屬性定義,支持按自己的方式搜索資源。
可審批:共享平臺也應該支持權限審批系統,只有經過審批的資源才能被發布。保證了資源的準入準出機制。
可發布:共享平臺必須支持基于互聯網、公安網、政務網等多種情況下多種協議下的數據發布。
可流通:共享平臺的資源都是以流式形態進行發布的,具體地說,對于CDN、網閘、安全接入平臺有著不可見的透明性,對于NAT又存在著廣泛的穿透性。
可查詢:共享平臺可以包含大數據模塊,比如采用zookeeper+hadoop的架構,以支持億條數據的秒級查詢。
可定價:共享平臺作為能力共享平臺,提供的是數據服務。有別于傳統的SAAS層軟件,共享平臺提供的多是無形的服務而不是具體的產品。
SAAS層的產品可以交由SP來進行開發。從這個角度來說,共享平臺就是能力開放的操作系統,其提供的能力服務(API)是可定價的。
從PAAS層的角度看待和理解共享平臺,使之與SAAS層的業務軟件解耦,內部有良好的數據碰撞機制和綜合管理辦法,外部突出能力輸出和服務建設,這才是共享平臺真正價值所在。而中興力維的VCMS(video content manager syatem)就是這樣一款產品。
ZNV中興力維SCIM信息共享平臺界面