大數(shù)據(jù)技術(shù)正深刻影響著民機(jī)產(chǎn)業(yè)鏈的上下游,工業(yè)大數(shù)據(jù)緣起國外,在民機(jī)領(lǐng)域大數(shù)據(jù)應(yīng)用發(fā)展較快,而在國內(nèi)民機(jī)客服工程領(lǐng)域也有所突破。
大數(shù)據(jù)屬于數(shù)量大 (Volume)、輸入和處理速度快 (Velocity)、數(shù)據(jù)多樣性 (Variety)和價(jià)值密度低 (Value) 的復(fù)雜、海量信息,無法用傳統(tǒng)工具處理分析。大數(shù)據(jù)可分為三類:一是社交類數(shù)據(jù),記錄用戶行為、反饋數(shù)據(jù)等;二是商業(yè)類數(shù)據(jù),包括消費(fèi)者數(shù)據(jù)、ERP數(shù)據(jù)、庫存數(shù)據(jù)以及賬目數(shù)據(jù)等;三是工業(yè)類數(shù)據(jù),又稱機(jī)器和傳感器數(shù)據(jù),包括智能儀表、工業(yè)設(shè)備傳感器、呼叫記錄、設(shè)備日志等。
目前工業(yè)大數(shù)據(jù)形成了以“工業(yè)互聯(lián)網(wǎng)”為代表的美國模式、“工業(yè)4.0”為代表的德國模式和“兩化融合”、“互聯(lián)網(wǎng) ”為代表的中國模式。
工業(yè)大數(shù)據(jù)作為大數(shù)據(jù)體系的分支,與其既有共通性,又有特殊性。在共通性方面,都是基于海量數(shù)據(jù)、分析技術(shù)和大數(shù)據(jù)思維三要素,以預(yù)測為核心,以模型和算法為關(guān)鍵。
客服工程數(shù)字化的內(nèi)在驅(qū)動是大數(shù)據(jù)
當(dāng)前的民用客機(jī)研制不但在傳統(tǒng)工程技術(shù)體系內(nèi)追求突破創(chuàng)新,更注重從服務(wù)客戶角度對產(chǎn)品設(shè)計(jì)方案實(shí)施再開發(fā),即“民機(jī)客服工程”。客服工程是對產(chǎn)品定義的開發(fā)補(bǔ)充,是對產(chǎn)品使用性能的技術(shù)創(chuàng)意,它把產(chǎn)品操作和維修等固有特性轉(zhuǎn)化為外在表現(xiàn),從而構(gòu)建起產(chǎn)品全生命周期持續(xù)安全健康運(yùn)行的基礎(chǔ)。從技術(shù)角度看,民機(jī)客服工程更多地使用數(shù)理統(tǒng)計(jì)和邏輯判斷工具,更注重大數(shù)據(jù)在飛行效率、健康管理等領(lǐng)域的應(yīng)用。
大數(shù)據(jù)應(yīng)用的關(guān)鍵技術(shù)分析
從數(shù)據(jù)源獲取到產(chǎn)生最終價(jià)值,一般經(jīng)過數(shù)據(jù)的采集準(zhǔn)備、存儲管理、計(jì)算處理、數(shù)據(jù)分析和知識展現(xiàn)等五個主要環(huán)節(jié)。相對于傳統(tǒng)挖掘技術(shù),大數(shù)據(jù)分析的技術(shù)突破主要集中在存儲管理、計(jì)算處理和數(shù)據(jù)分析三個核心環(huán)節(jié)。在民機(jī)應(yīng)用方面,又涉及工業(yè)物聯(lián)網(wǎng)、航空電信網(wǎng)等關(guān)鍵技術(shù)。
分布式存儲
面對海量數(shù)據(jù),傳統(tǒng)存儲技術(shù)一方面是存儲和計(jì)算物理分離、易受I/O瓶頸制約,另一方面是數(shù)據(jù)數(shù)據(jù)冗余、擴(kuò)展、容錯和并發(fā)讀寫能力不足。谷歌文件系統(tǒng)(GFS)和Hadoop分布式文件系統(tǒng)(HDFS)在物理上將計(jì)算和存儲節(jié)點(diǎn)結(jié)合在一起,避免了數(shù)據(jù)密集計(jì)算時(shí)的I/O堵塞;采取分布式存儲架構(gòu),以提高并發(fā)訪問能力,在大文件存儲上的表現(xiàn)優(yōu)異。隨著應(yīng)用和需求的發(fā)展,內(nèi)存型數(shù)據(jù)庫在提高隨機(jī)、海量小文件頻繁讀寫方面表現(xiàn)優(yōu)異。
非關(guān)系型數(shù)據(jù)庫
傳統(tǒng)關(guān)系型數(shù)據(jù)庫采取結(jié)構(gòu)化數(shù)據(jù)管理方式,優(yōu)點(diǎn)是數(shù)據(jù)一致性強(qiáng),缺點(diǎn)是容差性、并發(fā)性較弱。谷歌Big Table和HadoopHBase等新型非關(guān)系數(shù)據(jù)庫(NoSQL)通過“鍵-值”(Key-Value)對、文件等非二維表,提供了處理多源多類非結(jié)構(gòu)化數(shù)據(jù)的解決方案,由于只關(guān)注結(jié)果一致性,不追求過程一致性,效率也充分提升。谷歌推出Spanner數(shù)據(jù)庫,可在全球部署100萬~1000萬臺服務(wù)器的超大存儲系統(tǒng),通過原子鐘進(jìn)行全局精確同步,在非關(guān)系型數(shù)據(jù)庫基礎(chǔ)上實(shí)現(xiàn)一致性,同時(shí)還支持SQL接口,體現(xiàn)兩種數(shù)據(jù)管理技術(shù)融合發(fā)展的方向。
并行計(jì)算關(guān)鍵技術(shù)
傳統(tǒng)高性能計(jì)算的特點(diǎn)是“數(shù)據(jù)簡單、算法復(fù)雜”,大數(shù)據(jù)是典型的數(shù)據(jù)密集型計(jì)算,更重視計(jì)算單元和存儲單元間的吞吐率。谷歌的MapReduce并行計(jì)算技術(shù),通過廉價(jià)通用服務(wù)器組建系統(tǒng)、添加服務(wù)器節(jié)點(diǎn)線性擴(kuò)展系統(tǒng)處理能力,成為應(yīng)用最為廣泛的大數(shù)據(jù)計(jì)算平臺。基于MapReduce,業(yè)界又發(fā)展出多種并行計(jì)算技術(shù):一是“邊到達(dá)邊計(jì)算”的流計(jì)算,如Yahoo的S4和Twitter的Storm;二是針對大規(guī)模圖數(shù)據(jù)進(jìn)行優(yōu)化的圖計(jì)算,如谷歌的Pregel;三是將MapReduce內(nèi)存化以提高實(shí)時(shí)性的內(nèi)存批計(jì)算, Spark;四是可秒級處理PB級數(shù)據(jù)的快速交互分析,如谷歌的Dremel。2013年,Hadoop社區(qū)推出的將任務(wù)調(diào)度和資源管理分離、適合多種計(jì)算模型的通用MapReduce架構(gòu)YARN,現(xiàn)已發(fā)展成為大數(shù)據(jù)計(jì)算平臺的公認(rèn)標(biāo)準(zhǔn)。
機(jī)器學(xué)習(xí)
大數(shù)據(jù)分析技術(shù)路線先憑借先驗(yàn)知識人工建立數(shù)學(xué)模型分析、而后通過大量樣本數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)。2006 年,谷歌等公司提出增加人工神經(jīng)網(wǎng)絡(luò)層數(shù)和神經(jīng)元節(jié)點(diǎn)數(shù)量,構(gòu)建深度神經(jīng)網(wǎng)絡(luò)以提高訓(xùn)練效果,并在后續(xù)試驗(yàn)中得到證實(shí)。基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)技術(shù)在語音識別和圖像識別等方面取得了較好效果。
工業(yè)物聯(lián)網(wǎng)
工業(yè)大數(shù)據(jù)離不開工業(yè)物聯(lián)網(wǎng)的支撐。第一代工業(yè)物聯(lián)網(wǎng)以模擬信號單向傳遞為主,布線復(fù)雜、抗干擾性差。第二代工業(yè)物聯(lián)網(wǎng)以數(shù)字分布式控制系統(tǒng)為代表,信號精度提高但網(wǎng)絡(luò)實(shí)時(shí)性和穩(wěn)定性不足。第三代工業(yè)物聯(lián)網(wǎng)突出現(xiàn)場總線控制,采用全數(shù)字、開放式雙向通信網(wǎng)絡(luò)將各控制器與設(shè)備互連,而更為便捷、低廉的工業(yè)以太網(wǎng)已開始取代現(xiàn)場總線技術(shù)。第四代工業(yè)物聯(lián)網(wǎng)的特點(diǎn)是無線傳感和通信,突破傳統(tǒng)分層控制體系,形成制造、管理、分析、服務(wù)的全網(wǎng)一體化架構(gòu),同時(shí)還具備現(xiàn)場設(shè)備感知、實(shí)時(shí)微處理微計(jì)算、微秒級快速響應(yīng)和復(fù)雜環(huán)境下穩(wěn)定傳輸?shù)饶芰Α?/p>
航空電信網(wǎng)
航空電信網(wǎng)(ATN )是基于國際標(biāo)準(zhǔn)公共接口服務(wù)和協(xié)議,集成地面、地空和航空等多種數(shù)據(jù)子網(wǎng),以實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)傳輸服務(wù)的全球空地一體化航空專用通信網(wǎng)絡(luò)。ATN最大的轉(zhuǎn)變是從面向字符傳輸?shù)矫嫦虮忍貍鬏敚俏磥韺?shí)現(xiàn)航空大數(shù)據(jù)實(shí)時(shí)分析的基礎(chǔ)通信保障。ATN主要由通信子網(wǎng)、ATN路由器和終端系統(tǒng)組成。其中ATN通信子網(wǎng)一般由機(jī)上子網(wǎng)、空地子網(wǎng)(如甚高頻地空數(shù)據(jù)鏈、二次雷達(dá)S模式、 衛(wèi)星通信、高頻地空數(shù)據(jù)鏈等)和地面子網(wǎng)三種形式的數(shù)據(jù)通信網(wǎng)絡(luò)組成。而ATN異質(zhì)網(wǎng)際間的數(shù)據(jù)傳輸,則由ATN路由器實(shí)現(xiàn)。