精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當(dāng)前位置:大數(shù)據(jù)業(yè)界動(dòng)態(tài) → 正文

國(guó)際石油貿(mào)易應(yīng)用大數(shù)據(jù)分析的趨勢(shì)

責(zé)任編輯:zsheng |來源:企業(yè)網(wǎng)D1Net  2018-08-16 20:31:33 本文摘自:能源情報(bào)

能源情報(bào)初定將于8月26日組織A局:LNG貿(mào)易機(jī)遇。不收費(fèi),重在商業(yè)機(jī)會(huì)碰撞和交流。地點(diǎn)隨后通知,我們會(huì)邀請(qǐng)一位業(yè)內(nèi)一線人士分享,之后是行業(yè)交流。有興趣者微信報(bào)名! 或在留言中報(bào)名,我們有專門人員聯(lián)系確認(rèn)。

能源情報(bào)圈QQ群(377701955),實(shí)名成員超過1000人,付費(fèi)進(jìn)群。微信群?jiǎn)为?dú)申請(qǐng)。

文/鄭興揚(yáng) 張彤 劉昊偉,中國(guó)石油國(guó)際事業(yè)公司中國(guó)石油勘探開發(fā)研究院

1 “互聯(lián)網(wǎng)+”推進(jìn)傳統(tǒng)油氣行業(yè)融合創(chuàng)新

2016年年初,隨著谷歌公司旗下的人工智能程序“阿爾法狗”橫空出世,在不到1年的時(shí)間內(nèi)所向披靡橫掃世界圍棋界,人工智能、深度學(xué)習(xí)、大數(shù)據(jù)、云計(jì)算等迅速成為大眾耳熟能詳?shù)臒衢T詞匯。隨著我國(guó)經(jīng)濟(jì)發(fā)展進(jìn)入新常態(tài),經(jīng)濟(jì)增長(zhǎng)的驅(qū)動(dòng)力正在發(fā)生深刻變革,互聯(lián)網(wǎng)日益成為創(chuàng)新驅(qū)動(dòng)發(fā)展的先導(dǎo)力量,人工智能、大數(shù)據(jù)、云計(jì)算的熱潮已經(jīng)或正在改變眾多行業(yè)的游戲規(guī)則、企業(yè)的經(jīng)營(yíng)生態(tài),以及大眾生活的方方面面。

近年來石油石化行業(yè)經(jīng)歷了國(guó)際油價(jià)低位震蕩、傳統(tǒng)業(yè)務(wù)增長(zhǎng)模式飽和、環(huán)保壓力加大及新能源替代等多重挑戰(zhàn),利用互聯(lián)網(wǎng)技術(shù)和互聯(lián)網(wǎng)思維培育新的競(jìng)爭(zhēng)優(yōu)勢(shì)和發(fā)展動(dòng)能,應(yīng)成為該行業(yè)轉(zhuǎn)型升級(jí)的重要途徑。未來,大數(shù)據(jù)將和地下資源一樣,成為石油石化企業(yè)“掘金”的富礦。誰有能力挖掘和分析大數(shù)據(jù)中蘊(yùn)含的業(yè)務(wù)機(jī)會(huì),洞察客戶需求變化,建立起基于大數(shù)據(jù)分析的市場(chǎng)交易和避險(xiǎn)能力,誰就將會(huì)搶占產(chǎn)業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)地位的先機(jī)。這里筆者將對(duì)大數(shù)據(jù)及人工智能技術(shù)在國(guó)際石油貿(mào)易領(lǐng)域的應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì)進(jìn)行一些介紹。

2 國(guó)際石油貿(mào)易領(lǐng)域信息化應(yīng)用現(xiàn)狀及技術(shù)發(fā)展趨勢(shì)

2.1 國(guó)際石油貿(mào)易領(lǐng)域信息技術(shù)應(yīng)用的3個(gè)階段

由于國(guó)際石油貿(mào)易具有經(jīng)營(yíng)風(fēng)險(xiǎn)大、資金密集度高、經(jīng)營(yíng)環(huán)節(jié)復(fù)雜、期貨和實(shí)貨兩個(gè)市場(chǎng)協(xié)同運(yùn)作、對(duì)市場(chǎng)和經(jīng)營(yíng)數(shù)據(jù)的時(shí)效性和準(zhǔn)確度要求極高等特點(diǎn),超出了其他傳統(tǒng)行業(yè)對(duì)信息處理的要求,使得高效集成的信息化平臺(tái)成為業(yè)內(nèi)企業(yè)關(guān)乎生死存亡的“剛需”,加之企業(yè)普遍資金實(shí)力較為雄厚,促使企業(yè)一直以來都是信息技術(shù)企業(yè)級(jí)應(yīng)用的先驅(qū),也是最積極的開發(fā)者和使用者。歷史上,國(guó)際石油貿(mào)易領(lǐng)域?qū)π畔⒓夹g(shù)的應(yīng)用大致可分為如下3個(gè)階段。

2.1.1 第一階段:桌面客戶端程序+中央數(shù)據(jù)庫(kù)的傳統(tǒng)數(shù)據(jù)庫(kù)時(shí)代

國(guó)際石油貿(mào)易行業(yè)的ERP系統(tǒng)被稱為ETRM系統(tǒng)(EnergyTradingandRiskManagement)。早在20世紀(jì)90年代初,當(dāng)ERP系統(tǒng)對(duì)于大多數(shù)中國(guó)企業(yè)還僅僅是個(gè)模糊的概念時(shí),國(guó)際石油貿(mào)易領(lǐng)域的先驅(qū)企業(yè)便已為業(yè)務(wù)發(fā)展需要,踏上了企業(yè)級(jí)應(yīng)用的研發(fā)之路。

1992年,花旗銀行使用VisualBasi+SQLServer架構(gòu)開發(fā)了業(yè)內(nèi)首個(gè)ETRM系統(tǒng),隨后近30年,業(yè)內(nèi)企業(yè)普遍采用類似的桌面客戶端程序+中央數(shù)據(jù)庫(kù)架構(gòu),或外購(gòu)或自主研發(fā)步入了信息化時(shí)代。

2.1.2 第二階段:網(wǎng)頁(yè)版客戶端+分布式數(shù)據(jù)庫(kù)時(shí)代

2008年金融危機(jī)使得國(guó)際油價(jià)從黃金10年的牛市高峰迅速跌落,企業(yè)的盈利能力和傳統(tǒng)經(jīng)營(yíng)方式遭受挑戰(zhàn),國(guó)際石油貿(mào)易領(lǐng)域的盈利模式和交易方式日趨復(fù)雜,企業(yè)內(nèi)部也有了進(jìn)一步挖潛增效的要求。傳統(tǒng)的ETRM由于效率低下已無法滿足企業(yè)需求,恰逢信息技術(shù)獲得長(zhǎng)足發(fā)展,網(wǎng)頁(yè)版客戶端+分布式數(shù)據(jù)庫(kù)成為企業(yè)更為青睞的架構(gòu)。

2.1.3 第三階段:人工智能+大數(shù)據(jù)+物聯(lián)網(wǎng)的“互聯(lián)網(wǎng)+”時(shí)代

2014—2016年期間,國(guó)際油價(jià)再次從100美元/bbl以上跌落低谷,與此同時(shí)“阿爾法狗”開創(chuàng)的人工智能時(shí)代震撼世人,互聯(lián)網(wǎng)企業(yè)呈幾何級(jí)數(shù)增長(zhǎng),促使業(yè)內(nèi)意識(shí)到面對(duì)風(fēng)云變幻的市場(chǎng),亟須通過更高的技術(shù)手段來提高風(fēng)險(xiǎn)控制和預(yù)警體系能力,提前掌握風(fēng)險(xiǎn)動(dòng)態(tài),應(yīng)用大數(shù)據(jù)和人工智能技術(shù)實(shí)現(xiàn)風(fēng)險(xiǎn)資產(chǎn)的實(shí)時(shí)全量監(jiān)控,提高交易能力,提升交易信息的搜集、清洗和分析能力,以捕捉潛在的套利機(jī)會(huì)和新的業(yè)務(wù)增長(zhǎng)點(diǎn)。

2.2 國(guó)際石油貿(mào)易領(lǐng)域信息化應(yīng)用現(xiàn)狀

國(guó)際石油貿(mào)易領(lǐng)域的信息化應(yīng)用一直以來存在兩條主線:一條是ETRM主線,以收集整合管理內(nèi)部數(shù)據(jù)為主,旨在提升企業(yè)內(nèi)部執(zhí)行效率、提升風(fēng)控預(yù)警能力。這條路線國(guó)際石油貿(mào)易領(lǐng)域的企業(yè)介入較早,已形成諸多成功案例。比較成功的有維多公司(Vitol,全球四大大宗商品貿(mào)易公司之一)自主開發(fā)的VistaETRM系統(tǒng),維多公司憑借該系統(tǒng)提供的強(qiáng)大信息共享和整合能力,在石油國(guó)際貿(mào)易市場(chǎng)叱咤風(fēng)云數(shù)十載,幾乎從無敗績(jī)。另一方面投資銀行在油價(jià)黃金十年期間深度介入石油的期貨、期權(quán)、場(chǎng)外掉期等衍生品交易,也擁有市面上最好的ETRM系統(tǒng),其中的佼佼者當(dāng)屬JPMORGAN(摩根大通銀行)自主開發(fā)的Athena(雅典娜)系統(tǒng),JPMORGAN憑借Athena系統(tǒng)強(qiáng)大的風(fēng)控能力,成功躲過2008年金融海嘯的侵襲,成為當(dāng)時(shí)為數(shù)不多逆勢(shì)盈利的大型投資銀行之一。

另一條主線是近年來興起的人工智能交易主線。自動(dòng)交易已經(jīng)在全球金融市場(chǎng)上廣泛應(yīng)用,最近5年里,逐漸有些公司將人工智能技術(shù)應(yīng)用到模型運(yùn)算中,通過模型的自主學(xué)習(xí),開始進(jìn)行帶有人工智能算法的自動(dòng)交易。自動(dòng)交易最主要應(yīng)用在股票市場(chǎng)和外匯市場(chǎng),大部分公司能有較為不錯(cuò)的市場(chǎng)回報(bào)。最近幾年一些基金公司和投行將自動(dòng)交易引用到證券和信用領(lǐng)域,但是到目前為止沒有能夠得到穩(wěn)定的收益。能源市場(chǎng)應(yīng)用自動(dòng)交易的基金并不是很多,主要是由于能源市場(chǎng)產(chǎn)品是有時(shí)間結(jié)構(gòu)的,基本面的變化會(huì)對(duì)價(jià)格結(jié)構(gòu)產(chǎn)生影響,模型的套利應(yīng)用實(shí)踐效果不佳,僅有個(gè)別銀行依然利用自動(dòng)交易在流動(dòng)性好的能源市場(chǎng)進(jìn)行交易,能源公司由于監(jiān)管和模型盈利不穩(wěn)定等因素,基本不參與自動(dòng)交易領(lǐng)域。

通過調(diào)研,我們發(fā)現(xiàn)市場(chǎng)上人工智能應(yīng)用還處于比較低級(jí)的階段,大部分公司依然采用量化交易作為基礎(chǔ)進(jìn)行交易,盡管其廣告或者網(wǎng)站中描述了很多高大上的技術(shù),但一般只是噱頭,吸引投資者,實(shí)際交易模型比較簡(jiǎn)單,以量化模型為主。

部分公司在模型上采用了一些人工智能技術(shù),也主要是簡(jiǎn)單的統(tǒng)計(jì)套利和數(shù)學(xué)模型挖掘,更為深層的深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)人工智能技術(shù)各個(gè)公司依然處在研發(fā)階段。據(jù)了解,很多銀行在神經(jīng)網(wǎng)絡(luò)人工智能研發(fā)過程中遇到的最大問題是模型解釋。與簡(jiǎn)單模型比較,通過復(fù)雜神經(jīng)網(wǎng)絡(luò)人工智能進(jìn)行交易后,無法解釋為什么盈利和虧損,很難得到公司和監(jiān)管機(jī)構(gòu)的認(rèn)可。

2.3 國(guó)際石油貿(mào)易領(lǐng)域信息化應(yīng)用的發(fā)展趨勢(shì)

如前文所述,國(guó)際石油貿(mào)易領(lǐng)域一直以來都是信息技術(shù)企業(yè)級(jí)應(yīng)用的先驅(qū),業(yè)內(nèi)企業(yè)基本均已建立起較為成熟的ETRM系統(tǒng),形成并積累了大量質(zhì)量較好的基礎(chǔ)數(shù)據(jù),在數(shù)據(jù)收集的時(shí)效性和準(zhǔn)確性方面打下了良好基礎(chǔ)。根據(jù)IBM數(shù)據(jù)治理成熟度評(píng)估模型的評(píng)估標(biāo)準(zhǔn),業(yè)內(nèi)普遍已跨越了初始階段和基本階段,處于主動(dòng)管理階段或量化管理階段初期。

基于既往的基礎(chǔ),加之人工智能和大數(shù)據(jù)技術(shù)的突破性發(fā)展,國(guó)際石油貿(mào)易領(lǐng)域的企業(yè)開始嘗試進(jìn)入“人工智能+大數(shù)據(jù)+物聯(lián)網(wǎng)的互聯(lián)網(wǎng)+”的第三階段。

與前兩個(gè)階段相比,該階段有3個(gè)新訴求:第一個(gè)訴求是不滿足于對(duì)現(xiàn)有內(nèi)部已有經(jīng)營(yíng)管理數(shù)據(jù)的簡(jiǎn)單處理和共享,希望通過更深入的數(shù)據(jù)挖掘及整合,繼續(xù)提高內(nèi)部的執(zhí)行效率和風(fēng)控預(yù)警能力;第二個(gè)訴求是希望改變以往對(duì)外部數(shù)據(jù)的碎片化獲取和共享方式,尤其是對(duì)不可量化的外部信息(突發(fā)事件、新聞報(bào)道、大眾輿情等)深度挖掘和整合,應(yīng)用人工智能算法幫助企業(yè)進(jìn)行經(jīng)營(yíng)決策的優(yōu)化;第三個(gè)訴求是希望通過挖掘和整合內(nèi)外部信息,通過人工智能算法為一線交易員提供交易輔助決策,甚至更進(jìn)一步,開發(fā)人工智能交易模型,在市場(chǎng)上斬獲更多利潤(rùn)。

3 石油貿(mào)易領(lǐng)域人工智能平臺(tái)建設(shè)與典型應(yīng)用場(chǎng)景

3.1 大數(shù)據(jù)分析技術(shù)的應(yīng)用背景

國(guó)內(nèi)石油貿(mào)易企業(yè)通過持續(xù)不斷的引進(jìn)與開發(fā)業(yè)務(wù)和財(cái)務(wù)信息系統(tǒng),形成了大量系統(tǒng)管理的內(nèi)部數(shù)據(jù),數(shù)據(jù)質(zhì)量較高,為進(jìn)一步經(jīng)營(yíng)管理分析打下了良好的數(shù)據(jù)基礎(chǔ),目前外部數(shù)據(jù)尚未通過平臺(tái)進(jìn)行統(tǒng)一管理,較為分散。

內(nèi)部數(shù)據(jù)方面,已普遍通過信息系統(tǒng)實(shí)現(xiàn)業(yè)務(wù)執(zhí)行層面的數(shù)據(jù)管理,但在數(shù)據(jù)分析層面仍然存在一些問題:(1)手工數(shù)據(jù)收集整理、報(bào)表編制工作量較大,占用了分析人員大量的工作時(shí)間;(2)數(shù)據(jù)顆粒度較粗,即風(fēng)控部門、財(cái)務(wù)部門獲得的數(shù)據(jù)經(jīng)過匯總合并后,匯總合并前的基礎(chǔ)明細(xì)數(shù)據(jù)無法獲得;(3)不同部門對(duì)同一名稱的指標(biāo)在理解上和統(tǒng)計(jì)口徑上存在歧義,指標(biāo)統(tǒng)計(jì)口徑不一致。

外部數(shù)據(jù)則面臨著如下問題:(1)數(shù)據(jù)來源眾多,缺乏權(quán)威數(shù)據(jù)源的清晰定義;(2)數(shù)據(jù)管理分散,基本面數(shù)據(jù)多分散存儲(chǔ),技術(shù)面數(shù)據(jù)多通過第三方行情軟件實(shí)時(shí)查看,缺乏統(tǒng)一的數(shù)據(jù)管理平臺(tái);(3)數(shù)據(jù)積累少,基本面與技術(shù)面數(shù)據(jù)均未形成長(zhǎng)期有效積累機(jī)制,數(shù)據(jù)完整性及精準(zhǔn)度難于控制;(4)數(shù)據(jù)獲取難,商情數(shù)據(jù)多通過信息提供商終端、Excel插件及郵件傳輸?shù)膱?bào)告進(jìn)行獲取,數(shù)據(jù)獲取的時(shí)效性和自動(dòng)性難以保障。

因此,匯聚所有數(shù)據(jù)來源,通過大數(shù)據(jù)分析技術(shù)建立機(jī)器學(xué)習(xí)、人工智能模型,深入挖掘數(shù)據(jù)價(jià)值成為業(yè)內(nèi)企業(yè)迫在眉睫的需求。

3.2 石油貿(mào)易人工智能平臺(tái)的典型應(yīng)用場(chǎng)景

經(jīng)過深入調(diào)研,針對(duì)業(yè)務(wù)運(yùn)作中的痛點(diǎn)及難點(diǎn)問題,國(guó)內(nèi)石油貿(mào)易智能化建設(shè)方案中調(diào)整并確立了大數(shù)據(jù)分析技術(shù)的4個(gè)典型應(yīng)用場(chǎng)景,即:基于人工智能平臺(tái)的輔助交易決策平臺(tái)、大數(shù)據(jù)信用風(fēng)險(xiǎn)評(píng)估及預(yù)警平臺(tái)、標(biāo)準(zhǔn)化報(bào)告智能分析、合同解析。

3.2.1 基于人工智能平臺(tái)的輔助交易決策平臺(tái)

此應(yīng)用場(chǎng)景平臺(tái)由數(shù)據(jù)處理模塊、交易策略模塊、風(fēng)險(xiǎn)管理及績(jī)效考核模塊3個(gè)子模塊構(gòu)成

(1)數(shù)據(jù)處理模塊。采用Hadoop/Spark的大數(shù)據(jù)分析技術(shù)實(shí)現(xiàn)外部數(shù)據(jù)的收集、處理、深度挖掘分析,并和結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一整合、集中展示。自動(dòng)收集并整理的數(shù)據(jù)包括:大宗商品及外匯供需關(guān)系的數(shù)據(jù),金融市場(chǎng)實(shí)時(shí)數(shù)據(jù),公司收到的研究報(bào)告,宏觀經(jīng)濟(jì)數(shù)據(jù)及其他對(duì)市場(chǎng)有影響的政策,影響區(qū)域性市場(chǎng)的政治事件、重大新聞、天氣,網(wǎng)上輿情數(shù)據(jù)等。模塊中的技術(shù)難點(diǎn)是對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理及分析,例如分析重大突發(fā)事件對(duì)油價(jià)的影響。為此基于大數(shù)據(jù),通過建立人工智能模型,對(duì)歷史類似突發(fā)事件進(jìn)行全面擬合,最終對(duì)市場(chǎng)未來走勢(shì)計(jì)算出概率,進(jìn)而輔助交易決策。

(2)交易策略模塊。通過設(shè)計(jì)開發(fā)向?qū)降牟呗陨善鳎阌诮灰讍T迅速開發(fā)并回測(cè)交易策略。基于數(shù)據(jù)處理模塊中的大數(shù)據(jù)平臺(tái)及人工智能模型,為交易策略提供由非結(jié)構(gòu)化的內(nèi)外部數(shù)據(jù)(政治事件、重大新聞、天氣等)所生成的影響因子(人工智能模型計(jì)算出的概率)指標(biāo)。

(3)風(fēng)險(xiǎn)管理及績(jī)效考核模塊。風(fēng)險(xiǎn)管理方面設(shè)計(jì)了包括風(fēng)控報(bào)告(實(shí)現(xiàn)每日風(fēng)險(xiǎn)報(bào)告及各維度管理信息報(bào)告)和量化風(fēng)險(xiǎn)管理(VaR值計(jì)算和壓力測(cè)試計(jì)算)的綜合性統(tǒng)計(jì)分析報(bào)表,并開發(fā)了可按照公司管理架構(gòu),計(jì)算業(yè)務(wù)盤位及盈虧(逐級(jí)穿透至交易層面),支持實(shí)時(shí)盤位顯示和遠(yuǎn)期計(jì)價(jià)分析。績(jī)效考核方面,除了傳統(tǒng)的收益波動(dòng)分析和凈值回撤管理外,還包括了風(fēng)險(xiǎn)分解、交易風(fēng)格分析、業(yè)績(jī)?cè)u(píng)價(jià)及歸因分析等內(nèi)容(圖2)。

3.2.2 大數(shù)據(jù)信用風(fēng)險(xiǎn)評(píng)估及預(yù)警平臺(tái)

國(guó)際石油貿(mào)易領(lǐng)域的大型公司通常擁有數(shù)以千計(jì)的客戶群體,動(dòng)態(tài)客戶跟蹤和預(yù)警工作量巨大。目前業(yè)內(nèi)通行的信用管理模式是總部和地區(qū)公司兩級(jí)客戶信用人員的不定期走訪客戶,一年進(jìn)行一次梳理和重審,客戶信用管理人員平時(shí)通過訂閱的客戶信息報(bào)告及搜索客戶相關(guān)新聞等方式,了解客戶資信變化情況,這顯然是相當(dāng)被動(dòng)和低效的管理模式。應(yīng)基于大數(shù)據(jù)分析和預(yù)警,對(duì)行業(yè)趨勢(shì)進(jìn)行分析和判斷,再結(jié)合公司與客戶間的交易數(shù)據(jù)、客戶財(cái)務(wù)數(shù)據(jù),以及客戶經(jīng)理反饋的信息,對(duì)客戶進(jìn)行全面跟蹤,動(dòng)態(tài)分析客戶資質(zhì)變化情況,才能提前預(yù)警問題發(fā)生,降低重大事件的反應(yīng)時(shí)間。

大數(shù)據(jù)信用風(fēng)險(xiǎn)評(píng)估及預(yù)警平臺(tái)的設(shè)計(jì)架構(gòu)包括數(shù)據(jù)獲取及預(yù)處理、客戶全息視圖、風(fēng)險(xiǎn)監(jiān)測(cè)及評(píng)估、風(fēng)險(xiǎn)預(yù)警及管理、模型及指標(biāo)管理。與以往的信用風(fēng)險(xiǎn)評(píng)估體系相比,該平臺(tái)在技術(shù)實(shí)現(xiàn)方案上有3點(diǎn)創(chuàng)新:

(1)對(duì)于外部非結(jié)構(gòu)化數(shù)據(jù)(互聯(lián)網(wǎng)輿情)的數(shù)據(jù)分析。首先采用爬蟲工具和API接口全面收集網(wǎng)絡(luò)輿情、機(jī)構(gòu)數(shù)據(jù)和各類專業(yè)評(píng)級(jí)報(bào)告,使用NLP語義識(shí)別技術(shù)將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù),再將生成的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行字典訓(xùn)練,形成預(yù)警數(shù)據(jù)倉(cāng)庫(kù)。

(2)信用風(fēng)險(xiǎn)模型建模。充分開展大數(shù)據(jù)梳理和挖掘,在風(fēng)險(xiǎn)評(píng)估及預(yù)警模型中引入多元化風(fēng)險(xiǎn)因素,豐富風(fēng)險(xiǎn)識(shí)別點(diǎn),提升模型表現(xiàn)。將風(fēng)險(xiǎn)指標(biāo)分為系統(tǒng)性指標(biāo)和非系統(tǒng)指標(biāo)兩類,系統(tǒng)性指標(biāo)包括宏觀信息和中觀信息,非系統(tǒng)指標(biāo)包括財(cái)務(wù)異常、經(jīng)營(yíng)異常、征信異常、行為異常、司法異常等。

(3)增加企業(yè)關(guān)聯(lián)關(guān)系圖譜,提升模型敏感度。國(guó)際石油貿(mào)易領(lǐng)域企業(yè)交叉持股、合資公司、子母公司、總分公司的情況非常多,核心企業(yè)的財(cái)務(wù)數(shù)據(jù)和定性信息是信用風(fēng)險(xiǎn)的主要關(guān)注范疇,關(guān)聯(lián)企業(yè)或個(gè)人的信用狀況會(huì)在很大程度上影響該主體的信用風(fēng)險(xiǎn),因此創(chuàng)建企業(yè)關(guān)聯(lián)圖譜,在評(píng)級(jí)體系中納入所識(shí)別的關(guān)聯(lián)關(guān)系將有效提升評(píng)級(jí)模型的敏感度。

3.2.3 標(biāo)準(zhǔn)化報(bào)告智能分析

針對(duì)中短期的交易類型,交易員多通過報(bào)告信息從宏觀整體的層面了解當(dāng)前市場(chǎng)消息及觀點(diǎn),借助于大數(shù)據(jù)技術(shù)手段自動(dòng)收集、統(tǒng)一管理及展示報(bào)告內(nèi)容,并通過人工智能技術(shù)對(duì)報(bào)告信息進(jìn)行解讀,對(duì)市場(chǎng)熱點(diǎn)、趨勢(shì)、風(fēng)險(xiǎn)進(jìn)行快速評(píng)估分析及預(yù)警,對(duì)業(yè)務(wù)經(jīng)營(yíng)具有重大意義。

標(biāo)準(zhǔn)化報(bào)告智能分析的設(shè)計(jì)架構(gòu)見圖3。模塊功能實(shí)現(xiàn)思路為:(1)收集報(bào)告非結(jié)構(gòu)化數(shù)據(jù)以及和報(bào)告數(shù)據(jù)關(guān)聯(lián)度較高的結(jié)構(gòu)化數(shù)據(jù),部分非結(jié)構(gòu)化的文本數(shù)據(jù)被加載到專門的人工注釋中,用于模型注釋器的培訓(xùn);(2)模型注釋器先由領(lǐng)域?qū)<沂止?biāo)注少部分語料,生成模型,再由模型進(jìn)行新文本的自動(dòng)標(biāo)注,再由人工評(píng)估并修正模型標(biāo)注結(jié)果,進(jìn)一步訓(xùn)練改進(jìn)模型,提高性能;(3)訓(xùn)練有素的模型注釋器被部署到數(shù)據(jù)處理平臺(tái)用于文本信息提取,從非結(jié)構(gòu)化數(shù)據(jù)中提取信息,并構(gòu)建到知識(shí)圖譜中;(4)在知識(shí)圖譜中完成知識(shí)推理,輸出的結(jié)構(gòu)化數(shù)據(jù)形成培訓(xùn)數(shù)據(jù),并在模型實(shí)驗(yàn)室中加載,用于機(jī)器學(xué)習(xí)模型訓(xùn)練。

3.2.4 合同解析

國(guó)際大型石油貿(mào)易公司每年簽署的實(shí)貨貿(mào)易合同均數(shù)以萬計(jì)。國(guó)內(nèi)各公司當(dāng)前合同審核的標(biāo)準(zhǔn)模式為業(yè)務(wù)部錄入合同后,進(jìn)行合同會(huì)簽審核,在審核過程中法務(wù)部負(fù)責(zé)合同進(jìn)行整體審核,各部門審核與其相關(guān)的部分。該操作中面臨一些難點(diǎn),如審核檢查需要手工比對(duì),占用大量時(shí)間;且因?qū)徍巳藛T業(yè)務(wù)能力不同,質(zhì)量難于把控;合同審核風(fēng)險(xiǎn)難于追蹤記錄及統(tǒng)計(jì)分析等。

因此,為了加快合同審核速度,統(tǒng)一提高全系統(tǒng)合同審核水平,提升對(duì)合同的整體風(fēng)險(xiǎn)分析及把控能力,合同解析模塊功能通過如下路徑實(shí)現(xiàn):(1)選取不同合同類型的樣本合同,將其非結(jié)構(gòu)化數(shù)據(jù)部分通過文字識(shí)別和自然語言分析技術(shù)進(jìn)行預(yù)處理,再以此數(shù)據(jù)為基礎(chǔ)建立合同標(biāo)準(zhǔn)庫(kù)模型,通過模型自學(xué)習(xí)對(duì)模型進(jìn)行訓(xùn)練;(2)當(dāng)有新的合同審核需求時(shí),標(biāo)準(zhǔn)庫(kù)模型將從文檔級(jí)別、子句級(jí)別進(jìn)行語義比較,對(duì)于重點(diǎn)條款進(jìn)行詳細(xì)比較和差異檢測(cè);(3)自動(dòng)初檢后的合同交人工復(fù)檢,同時(shí)由人工提供反饋,以對(duì)模型進(jìn)行持續(xù)不斷的深度訓(xùn)練。

4 結(jié)束語

石油石化產(chǎn)業(yè)與互聯(lián)網(wǎng)的“聯(lián)姻”將從產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié),挖掘出互聯(lián)網(wǎng)技術(shù)“1+1﹥2”的乘數(shù)效應(yīng)。從企業(yè)外部來看,兩者的結(jié)合將極大地促進(jìn)能源供應(yīng)和消費(fèi)的互動(dòng),更精準(zhǔn)地對(duì)接市場(chǎng)需求,從而提高供給質(zhì)量和效率。業(yè)內(nèi)企業(yè)如能利用大數(shù)據(jù)技術(shù)完成海量消費(fèi)數(shù)據(jù)的采集、篩選、分析和挖掘,最終實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的精準(zhǔn)能源供給,將能更好地滿足用戶個(gè)性化的用能需求,增強(qiáng)客戶信任度和忠誠(chéng)度。從企業(yè)內(nèi)部看,大數(shù)據(jù)分析技術(shù)的應(yīng)用將有助于企業(yè)提高工作效率,節(jié)約運(yùn)營(yíng)成本,更充分地整合和利用資源。有理由相信,傳統(tǒng)能源行業(yè)在“互聯(lián)網(wǎng)+”的助力下,將會(huì)促進(jìn)行業(yè)轉(zhuǎn)型,實(shí)現(xiàn)改革、開拓、創(chuàng)新的發(fā)展新局面。

關(guān)鍵字:趨勢(shì)數(shù)據(jù)分析應(yīng)用國(guó)際

本文摘自:能源情報(bào)

x 國(guó)際石油貿(mào)易應(yīng)用大數(shù)據(jù)分析的趨勢(shì) 掃一掃
分享本文到朋友圈
當(dāng)前位置:大數(shù)據(jù)業(yè)界動(dòng)態(tài) → 正文

國(guó)際石油貿(mào)易應(yīng)用大數(shù)據(jù)分析的趨勢(shì)

責(zé)任編輯:zsheng |來源:企業(yè)網(wǎng)D1Net  2018-08-16 20:31:33 本文摘自:能源情報(bào)

能源情報(bào)初定將于8月26日組織A局:LNG貿(mào)易機(jī)遇。不收費(fèi),重在商業(yè)機(jī)會(huì)碰撞和交流。地點(diǎn)隨后通知,我們會(huì)邀請(qǐng)一位業(yè)內(nèi)一線人士分享,之后是行業(yè)交流。有興趣者微信報(bào)名! 或在留言中報(bào)名,我們有專門人員聯(lián)系確認(rèn)。

能源情報(bào)圈QQ群(377701955),實(shí)名成員超過1000人,付費(fèi)進(jìn)群。微信群?jiǎn)为?dú)申請(qǐng)。

文/鄭興揚(yáng) 張彤 劉昊偉,中國(guó)石油國(guó)際事業(yè)公司中國(guó)石油勘探開發(fā)研究院

1 “互聯(lián)網(wǎng)+”推進(jìn)傳統(tǒng)油氣行業(yè)融合創(chuàng)新

2016年年初,隨著谷歌公司旗下的人工智能程序“阿爾法狗”橫空出世,在不到1年的時(shí)間內(nèi)所向披靡橫掃世界圍棋界,人工智能、深度學(xué)習(xí)、大數(shù)據(jù)、云計(jì)算等迅速成為大眾耳熟能詳?shù)臒衢T詞匯。隨著我國(guó)經(jīng)濟(jì)發(fā)展進(jìn)入新常態(tài),經(jīng)濟(jì)增長(zhǎng)的驅(qū)動(dòng)力正在發(fā)生深刻變革,互聯(lián)網(wǎng)日益成為創(chuàng)新驅(qū)動(dòng)發(fā)展的先導(dǎo)力量,人工智能、大數(shù)據(jù)、云計(jì)算的熱潮已經(jīng)或正在改變眾多行業(yè)的游戲規(guī)則、企業(yè)的經(jīng)營(yíng)生態(tài),以及大眾生活的方方面面。

近年來石油石化行業(yè)經(jīng)歷了國(guó)際油價(jià)低位震蕩、傳統(tǒng)業(yè)務(wù)增長(zhǎng)模式飽和、環(huán)保壓力加大及新能源替代等多重挑戰(zhàn),利用互聯(lián)網(wǎng)技術(shù)和互聯(lián)網(wǎng)思維培育新的競(jìng)爭(zhēng)優(yōu)勢(shì)和發(fā)展動(dòng)能,應(yīng)成為該行業(yè)轉(zhuǎn)型升級(jí)的重要途徑。未來,大數(shù)據(jù)將和地下資源一樣,成為石油石化企業(yè)“掘金”的富礦。誰有能力挖掘和分析大數(shù)據(jù)中蘊(yùn)含的業(yè)務(wù)機(jī)會(huì),洞察客戶需求變化,建立起基于大數(shù)據(jù)分析的市場(chǎng)交易和避險(xiǎn)能力,誰就將會(huì)搶占產(chǎn)業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)地位的先機(jī)。這里筆者將對(duì)大數(shù)據(jù)及人工智能技術(shù)在國(guó)際石油貿(mào)易領(lǐng)域的應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì)進(jìn)行一些介紹。

2 國(guó)際石油貿(mào)易領(lǐng)域信息化應(yīng)用現(xiàn)狀及技術(shù)發(fā)展趨勢(shì)

2.1 國(guó)際石油貿(mào)易領(lǐng)域信息技術(shù)應(yīng)用的3個(gè)階段

由于國(guó)際石油貿(mào)易具有經(jīng)營(yíng)風(fēng)險(xiǎn)大、資金密集度高、經(jīng)營(yíng)環(huán)節(jié)復(fù)雜、期貨和實(shí)貨兩個(gè)市場(chǎng)協(xié)同運(yùn)作、對(duì)市場(chǎng)和經(jīng)營(yíng)數(shù)據(jù)的時(shí)效性和準(zhǔn)確度要求極高等特點(diǎn),超出了其他傳統(tǒng)行業(yè)對(duì)信息處理的要求,使得高效集成的信息化平臺(tái)成為業(yè)內(nèi)企業(yè)關(guān)乎生死存亡的“剛需”,加之企業(yè)普遍資金實(shí)力較為雄厚,促使企業(yè)一直以來都是信息技術(shù)企業(yè)級(jí)應(yīng)用的先驅(qū),也是最積極的開發(fā)者和使用者。歷史上,國(guó)際石油貿(mào)易領(lǐng)域?qū)π畔⒓夹g(shù)的應(yīng)用大致可分為如下3個(gè)階段。

2.1.1 第一階段:桌面客戶端程序+中央數(shù)據(jù)庫(kù)的傳統(tǒng)數(shù)據(jù)庫(kù)時(shí)代

國(guó)際石油貿(mào)易行業(yè)的ERP系統(tǒng)被稱為ETRM系統(tǒng)(EnergyTradingandRiskManagement)。早在20世紀(jì)90年代初,當(dāng)ERP系統(tǒng)對(duì)于大多數(shù)中國(guó)企業(yè)還僅僅是個(gè)模糊的概念時(shí),國(guó)際石油貿(mào)易領(lǐng)域的先驅(qū)企業(yè)便已為業(yè)務(wù)發(fā)展需要,踏上了企業(yè)級(jí)應(yīng)用的研發(fā)之路。

1992年,花旗銀行使用VisualBasi+SQLServer架構(gòu)開發(fā)了業(yè)內(nèi)首個(gè)ETRM系統(tǒng),隨后近30年,業(yè)內(nèi)企業(yè)普遍采用類似的桌面客戶端程序+中央數(shù)據(jù)庫(kù)架構(gòu),或外購(gòu)或自主研發(fā)步入了信息化時(shí)代。

2.1.2 第二階段:網(wǎng)頁(yè)版客戶端+分布式數(shù)據(jù)庫(kù)時(shí)代

2008年金融危機(jī)使得國(guó)際油價(jià)從黃金10年的牛市高峰迅速跌落,企業(yè)的盈利能力和傳統(tǒng)經(jīng)營(yíng)方式遭受挑戰(zhàn),國(guó)際石油貿(mào)易領(lǐng)域的盈利模式和交易方式日趨復(fù)雜,企業(yè)內(nèi)部也有了進(jìn)一步挖潛增效的要求。傳統(tǒng)的ETRM由于效率低下已無法滿足企業(yè)需求,恰逢信息技術(shù)獲得長(zhǎng)足發(fā)展,網(wǎng)頁(yè)版客戶端+分布式數(shù)據(jù)庫(kù)成為企業(yè)更為青睞的架構(gòu)。

2.1.3 第三階段:人工智能+大數(shù)據(jù)+物聯(lián)網(wǎng)的“互聯(lián)網(wǎng)+”時(shí)代

2014—2016年期間,國(guó)際油價(jià)再次從100美元/bbl以上跌落低谷,與此同時(shí)“阿爾法狗”開創(chuàng)的人工智能時(shí)代震撼世人,互聯(lián)網(wǎng)企業(yè)呈幾何級(jí)數(shù)增長(zhǎng),促使業(yè)內(nèi)意識(shí)到面對(duì)風(fēng)云變幻的市場(chǎng),亟須通過更高的技術(shù)手段來提高風(fēng)險(xiǎn)控制和預(yù)警體系能力,提前掌握風(fēng)險(xiǎn)動(dòng)態(tài),應(yīng)用大數(shù)據(jù)和人工智能技術(shù)實(shí)現(xiàn)風(fēng)險(xiǎn)資產(chǎn)的實(shí)時(shí)全量監(jiān)控,提高交易能力,提升交易信息的搜集、清洗和分析能力,以捕捉潛在的套利機(jī)會(huì)和新的業(yè)務(wù)增長(zhǎng)點(diǎn)。

2.2 國(guó)際石油貿(mào)易領(lǐng)域信息化應(yīng)用現(xiàn)狀

國(guó)際石油貿(mào)易領(lǐng)域的信息化應(yīng)用一直以來存在兩條主線:一條是ETRM主線,以收集整合管理內(nèi)部數(shù)據(jù)為主,旨在提升企業(yè)內(nèi)部執(zhí)行效率、提升風(fēng)控預(yù)警能力。這條路線國(guó)際石油貿(mào)易領(lǐng)域的企業(yè)介入較早,已形成諸多成功案例。比較成功的有維多公司(Vitol,全球四大大宗商品貿(mào)易公司之一)自主開發(fā)的VistaETRM系統(tǒng),維多公司憑借該系統(tǒng)提供的強(qiáng)大信息共享和整合能力,在石油國(guó)際貿(mào)易市場(chǎng)叱咤風(fēng)云數(shù)十載,幾乎從無敗績(jī)。另一方面投資銀行在油價(jià)黃金十年期間深度介入石油的期貨、期權(quán)、場(chǎng)外掉期等衍生品交易,也擁有市面上最好的ETRM系統(tǒng),其中的佼佼者當(dāng)屬JPMORGAN(摩根大通銀行)自主開發(fā)的Athena(雅典娜)系統(tǒng),JPMORGAN憑借Athena系統(tǒng)強(qiáng)大的風(fēng)控能力,成功躲過2008年金融海嘯的侵襲,成為當(dāng)時(shí)為數(shù)不多逆勢(shì)盈利的大型投資銀行之一。

另一條主線是近年來興起的人工智能交易主線。自動(dòng)交易已經(jīng)在全球金融市場(chǎng)上廣泛應(yīng)用,最近5年里,逐漸有些公司將人工智能技術(shù)應(yīng)用到模型運(yùn)算中,通過模型的自主學(xué)習(xí),開始進(jìn)行帶有人工智能算法的自動(dòng)交易。自動(dòng)交易最主要應(yīng)用在股票市場(chǎng)和外匯市場(chǎng),大部分公司能有較為不錯(cuò)的市場(chǎng)回報(bào)。最近幾年一些基金公司和投行將自動(dòng)交易引用到證券和信用領(lǐng)域,但是到目前為止沒有能夠得到穩(wěn)定的收益。能源市場(chǎng)應(yīng)用自動(dòng)交易的基金并不是很多,主要是由于能源市場(chǎng)產(chǎn)品是有時(shí)間結(jié)構(gòu)的,基本面的變化會(huì)對(duì)價(jià)格結(jié)構(gòu)產(chǎn)生影響,模型的套利應(yīng)用實(shí)踐效果不佳,僅有個(gè)別銀行依然利用自動(dòng)交易在流動(dòng)性好的能源市場(chǎng)進(jìn)行交易,能源公司由于監(jiān)管和模型盈利不穩(wěn)定等因素,基本不參與自動(dòng)交易領(lǐng)域。

通過調(diào)研,我們發(fā)現(xiàn)市場(chǎng)上人工智能應(yīng)用還處于比較低級(jí)的階段,大部分公司依然采用量化交易作為基礎(chǔ)進(jìn)行交易,盡管其廣告或者網(wǎng)站中描述了很多高大上的技術(shù),但一般只是噱頭,吸引投資者,實(shí)際交易模型比較簡(jiǎn)單,以量化模型為主。

部分公司在模型上采用了一些人工智能技術(shù),也主要是簡(jiǎn)單的統(tǒng)計(jì)套利和數(shù)學(xué)模型挖掘,更為深層的深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)人工智能技術(shù)各個(gè)公司依然處在研發(fā)階段。據(jù)了解,很多銀行在神經(jīng)網(wǎng)絡(luò)人工智能研發(fā)過程中遇到的最大問題是模型解釋。與簡(jiǎn)單模型比較,通過復(fù)雜神經(jīng)網(wǎng)絡(luò)人工智能進(jìn)行交易后,無法解釋為什么盈利和虧損,很難得到公司和監(jiān)管機(jī)構(gòu)的認(rèn)可。

2.3 國(guó)際石油貿(mào)易領(lǐng)域信息化應(yīng)用的發(fā)展趨勢(shì)

如前文所述,國(guó)際石油貿(mào)易領(lǐng)域一直以來都是信息技術(shù)企業(yè)級(jí)應(yīng)用的先驅(qū),業(yè)內(nèi)企業(yè)基本均已建立起較為成熟的ETRM系統(tǒng),形成并積累了大量質(zhì)量較好的基礎(chǔ)數(shù)據(jù),在數(shù)據(jù)收集的時(shí)效性和準(zhǔn)確性方面打下了良好基礎(chǔ)。根據(jù)IBM數(shù)據(jù)治理成熟度評(píng)估模型的評(píng)估標(biāo)準(zhǔn),業(yè)內(nèi)普遍已跨越了初始階段和基本階段,處于主動(dòng)管理階段或量化管理階段初期。

基于既往的基礎(chǔ),加之人工智能和大數(shù)據(jù)技術(shù)的突破性發(fā)展,國(guó)際石油貿(mào)易領(lǐng)域的企業(yè)開始嘗試進(jìn)入“人工智能+大數(shù)據(jù)+物聯(lián)網(wǎng)的互聯(lián)網(wǎng)+”的第三階段。

與前兩個(gè)階段相比,該階段有3個(gè)新訴求:第一個(gè)訴求是不滿足于對(duì)現(xiàn)有內(nèi)部已有經(jīng)營(yíng)管理數(shù)據(jù)的簡(jiǎn)單處理和共享,希望通過更深入的數(shù)據(jù)挖掘及整合,繼續(xù)提高內(nèi)部的執(zhí)行效率和風(fēng)控預(yù)警能力;第二個(gè)訴求是希望改變以往對(duì)外部數(shù)據(jù)的碎片化獲取和共享方式,尤其是對(duì)不可量化的外部信息(突發(fā)事件、新聞報(bào)道、大眾輿情等)深度挖掘和整合,應(yīng)用人工智能算法幫助企業(yè)進(jìn)行經(jīng)營(yíng)決策的優(yōu)化;第三個(gè)訴求是希望通過挖掘和整合內(nèi)外部信息,通過人工智能算法為一線交易員提供交易輔助決策,甚至更進(jìn)一步,開發(fā)人工智能交易模型,在市場(chǎng)上斬獲更多利潤(rùn)。

3 石油貿(mào)易領(lǐng)域人工智能平臺(tái)建設(shè)與典型應(yīng)用場(chǎng)景

3.1 大數(shù)據(jù)分析技術(shù)的應(yīng)用背景

國(guó)內(nèi)石油貿(mào)易企業(yè)通過持續(xù)不斷的引進(jìn)與開發(fā)業(yè)務(wù)和財(cái)務(wù)信息系統(tǒng),形成了大量系統(tǒng)管理的內(nèi)部數(shù)據(jù),數(shù)據(jù)質(zhì)量較高,為進(jìn)一步經(jīng)營(yíng)管理分析打下了良好的數(shù)據(jù)基礎(chǔ),目前外部數(shù)據(jù)尚未通過平臺(tái)進(jìn)行統(tǒng)一管理,較為分散。

內(nèi)部數(shù)據(jù)方面,已普遍通過信息系統(tǒng)實(shí)現(xiàn)業(yè)務(wù)執(zhí)行層面的數(shù)據(jù)管理,但在數(shù)據(jù)分析層面仍然存在一些問題:(1)手工數(shù)據(jù)收集整理、報(bào)表編制工作量較大,占用了分析人員大量的工作時(shí)間;(2)數(shù)據(jù)顆粒度較粗,即風(fēng)控部門、財(cái)務(wù)部門獲得的數(shù)據(jù)經(jīng)過匯總合并后,匯總合并前的基礎(chǔ)明細(xì)數(shù)據(jù)無法獲得;(3)不同部門對(duì)同一名稱的指標(biāo)在理解上和統(tǒng)計(jì)口徑上存在歧義,指標(biāo)統(tǒng)計(jì)口徑不一致。

外部數(shù)據(jù)則面臨著如下問題:(1)數(shù)據(jù)來源眾多,缺乏權(quán)威數(shù)據(jù)源的清晰定義;(2)數(shù)據(jù)管理分散,基本面數(shù)據(jù)多分散存儲(chǔ),技術(shù)面數(shù)據(jù)多通過第三方行情軟件實(shí)時(shí)查看,缺乏統(tǒng)一的數(shù)據(jù)管理平臺(tái);(3)數(shù)據(jù)積累少,基本面與技術(shù)面數(shù)據(jù)均未形成長(zhǎng)期有效積累機(jī)制,數(shù)據(jù)完整性及精準(zhǔn)度難于控制;(4)數(shù)據(jù)獲取難,商情數(shù)據(jù)多通過信息提供商終端、Excel插件及郵件傳輸?shù)膱?bào)告進(jìn)行獲取,數(shù)據(jù)獲取的時(shí)效性和自動(dòng)性難以保障。

因此,匯聚所有數(shù)據(jù)來源,通過大數(shù)據(jù)分析技術(shù)建立機(jī)器學(xué)習(xí)、人工智能模型,深入挖掘數(shù)據(jù)價(jià)值成為業(yè)內(nèi)企業(yè)迫在眉睫的需求。

3.2 石油貿(mào)易人工智能平臺(tái)的典型應(yīng)用場(chǎng)景

經(jīng)過深入調(diào)研,針對(duì)業(yè)務(wù)運(yùn)作中的痛點(diǎn)及難點(diǎn)問題,國(guó)內(nèi)石油貿(mào)易智能化建設(shè)方案中調(diào)整并確立了大數(shù)據(jù)分析技術(shù)的4個(gè)典型應(yīng)用場(chǎng)景,即:基于人工智能平臺(tái)的輔助交易決策平臺(tái)、大數(shù)據(jù)信用風(fēng)險(xiǎn)評(píng)估及預(yù)警平臺(tái)、標(biāo)準(zhǔn)化報(bào)告智能分析、合同解析。

3.2.1 基于人工智能平臺(tái)的輔助交易決策平臺(tái)

此應(yīng)用場(chǎng)景平臺(tái)由數(shù)據(jù)處理模塊、交易策略模塊、風(fēng)險(xiǎn)管理及績(jī)效考核模塊3個(gè)子模塊構(gòu)成

(1)數(shù)據(jù)處理模塊。采用Hadoop/Spark的大數(shù)據(jù)分析技術(shù)實(shí)現(xiàn)外部數(shù)據(jù)的收集、處理、深度挖掘分析,并和結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一整合、集中展示。自動(dòng)收集并整理的數(shù)據(jù)包括:大宗商品及外匯供需關(guān)系的數(shù)據(jù),金融市場(chǎng)實(shí)時(shí)數(shù)據(jù),公司收到的研究報(bào)告,宏觀經(jīng)濟(jì)數(shù)據(jù)及其他對(duì)市場(chǎng)有影響的政策,影響區(qū)域性市場(chǎng)的政治事件、重大新聞、天氣,網(wǎng)上輿情數(shù)據(jù)等。模塊中的技術(shù)難點(diǎn)是對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理及分析,例如分析重大突發(fā)事件對(duì)油價(jià)的影響。為此基于大數(shù)據(jù),通過建立人工智能模型,對(duì)歷史類似突發(fā)事件進(jìn)行全面擬合,最終對(duì)市場(chǎng)未來走勢(shì)計(jì)算出概率,進(jìn)而輔助交易決策。

(2)交易策略模塊。通過設(shè)計(jì)開發(fā)向?qū)降牟呗陨善鳎阌诮灰讍T迅速開發(fā)并回測(cè)交易策略。基于數(shù)據(jù)處理模塊中的大數(shù)據(jù)平臺(tái)及人工智能模型,為交易策略提供由非結(jié)構(gòu)化的內(nèi)外部數(shù)據(jù)(政治事件、重大新聞、天氣等)所生成的影響因子(人工智能模型計(jì)算出的概率)指標(biāo)。

(3)風(fēng)險(xiǎn)管理及績(jī)效考核模塊。風(fēng)險(xiǎn)管理方面設(shè)計(jì)了包括風(fēng)控報(bào)告(實(shí)現(xiàn)每日風(fēng)險(xiǎn)報(bào)告及各維度管理信息報(bào)告)和量化風(fēng)險(xiǎn)管理(VaR值計(jì)算和壓力測(cè)試計(jì)算)的綜合性統(tǒng)計(jì)分析報(bào)表,并開發(fā)了可按照公司管理架構(gòu),計(jì)算業(yè)務(wù)盤位及盈虧(逐級(jí)穿透至交易層面),支持實(shí)時(shí)盤位顯示和遠(yuǎn)期計(jì)價(jià)分析。績(jī)效考核方面,除了傳統(tǒng)的收益波動(dòng)分析和凈值回撤管理外,還包括了風(fēng)險(xiǎn)分解、交易風(fēng)格分析、業(yè)績(jī)?cè)u(píng)價(jià)及歸因分析等內(nèi)容(圖2)。

3.2.2 大數(shù)據(jù)信用風(fēng)險(xiǎn)評(píng)估及預(yù)警平臺(tái)

國(guó)際石油貿(mào)易領(lǐng)域的大型公司通常擁有數(shù)以千計(jì)的客戶群體,動(dòng)態(tài)客戶跟蹤和預(yù)警工作量巨大。目前業(yè)內(nèi)通行的信用管理模式是總部和地區(qū)公司兩級(jí)客戶信用人員的不定期走訪客戶,一年進(jìn)行一次梳理和重審,客戶信用管理人員平時(shí)通過訂閱的客戶信息報(bào)告及搜索客戶相關(guān)新聞等方式,了解客戶資信變化情況,這顯然是相當(dāng)被動(dòng)和低效的管理模式。應(yīng)基于大數(shù)據(jù)分析和預(yù)警,對(duì)行業(yè)趨勢(shì)進(jìn)行分析和判斷,再結(jié)合公司與客戶間的交易數(shù)據(jù)、客戶財(cái)務(wù)數(shù)據(jù),以及客戶經(jīng)理反饋的信息,對(duì)客戶進(jìn)行全面跟蹤,動(dòng)態(tài)分析客戶資質(zhì)變化情況,才能提前預(yù)警問題發(fā)生,降低重大事件的反應(yīng)時(shí)間。

大數(shù)據(jù)信用風(fēng)險(xiǎn)評(píng)估及預(yù)警平臺(tái)的設(shè)計(jì)架構(gòu)包括數(shù)據(jù)獲取及預(yù)處理、客戶全息視圖、風(fēng)險(xiǎn)監(jiān)測(cè)及評(píng)估、風(fēng)險(xiǎn)預(yù)警及管理、模型及指標(biāo)管理。與以往的信用風(fēng)險(xiǎn)評(píng)估體系相比,該平臺(tái)在技術(shù)實(shí)現(xiàn)方案上有3點(diǎn)創(chuàng)新:

(1)對(duì)于外部非結(jié)構(gòu)化數(shù)據(jù)(互聯(lián)網(wǎng)輿情)的數(shù)據(jù)分析。首先采用爬蟲工具和API接口全面收集網(wǎng)絡(luò)輿情、機(jī)構(gòu)數(shù)據(jù)和各類專業(yè)評(píng)級(jí)報(bào)告,使用NLP語義識(shí)別技術(shù)將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù),再將生成的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行字典訓(xùn)練,形成預(yù)警數(shù)據(jù)倉(cāng)庫(kù)。

(2)信用風(fēng)險(xiǎn)模型建模。充分開展大數(shù)據(jù)梳理和挖掘,在風(fēng)險(xiǎn)評(píng)估及預(yù)警模型中引入多元化風(fēng)險(xiǎn)因素,豐富風(fēng)險(xiǎn)識(shí)別點(diǎn),提升模型表現(xiàn)。將風(fēng)險(xiǎn)指標(biāo)分為系統(tǒng)性指標(biāo)和非系統(tǒng)指標(biāo)兩類,系統(tǒng)性指標(biāo)包括宏觀信息和中觀信息,非系統(tǒng)指標(biāo)包括財(cái)務(wù)異常、經(jīng)營(yíng)異常、征信異常、行為異常、司法異常等。

(3)增加企業(yè)關(guān)聯(lián)關(guān)系圖譜,提升模型敏感度。國(guó)際石油貿(mào)易領(lǐng)域企業(yè)交叉持股、合資公司、子母公司、總分公司的情況非常多,核心企業(yè)的財(cái)務(wù)數(shù)據(jù)和定性信息是信用風(fēng)險(xiǎn)的主要關(guān)注范疇,關(guān)聯(lián)企業(yè)或個(gè)人的信用狀況會(huì)在很大程度上影響該主體的信用風(fēng)險(xiǎn),因此創(chuàng)建企業(yè)關(guān)聯(lián)圖譜,在評(píng)級(jí)體系中納入所識(shí)別的關(guān)聯(lián)關(guān)系將有效提升評(píng)級(jí)模型的敏感度。

3.2.3 標(biāo)準(zhǔn)化報(bào)告智能分析

針對(duì)中短期的交易類型,交易員多通過報(bào)告信息從宏觀整體的層面了解當(dāng)前市場(chǎng)消息及觀點(diǎn),借助于大數(shù)據(jù)技術(shù)手段自動(dòng)收集、統(tǒng)一管理及展示報(bào)告內(nèi)容,并通過人工智能技術(shù)對(duì)報(bào)告信息進(jìn)行解讀,對(duì)市場(chǎng)熱點(diǎn)、趨勢(shì)、風(fēng)險(xiǎn)進(jìn)行快速評(píng)估分析及預(yù)警,對(duì)業(yè)務(wù)經(jīng)營(yíng)具有重大意義。

標(biāo)準(zhǔn)化報(bào)告智能分析的設(shè)計(jì)架構(gòu)見圖3。模塊功能實(shí)現(xiàn)思路為:(1)收集報(bào)告非結(jié)構(gòu)化數(shù)據(jù)以及和報(bào)告數(shù)據(jù)關(guān)聯(lián)度較高的結(jié)構(gòu)化數(shù)據(jù),部分非結(jié)構(gòu)化的文本數(shù)據(jù)被加載到專門的人工注釋中,用于模型注釋器的培訓(xùn);(2)模型注釋器先由領(lǐng)域?qū)<沂止?biāo)注少部分語料,生成模型,再由模型進(jìn)行新文本的自動(dòng)標(biāo)注,再由人工評(píng)估并修正模型標(biāo)注結(jié)果,進(jìn)一步訓(xùn)練改進(jìn)模型,提高性能;(3)訓(xùn)練有素的模型注釋器被部署到數(shù)據(jù)處理平臺(tái)用于文本信息提取,從非結(jié)構(gòu)化數(shù)據(jù)中提取信息,并構(gòu)建到知識(shí)圖譜中;(4)在知識(shí)圖譜中完成知識(shí)推理,輸出的結(jié)構(gòu)化數(shù)據(jù)形成培訓(xùn)數(shù)據(jù),并在模型實(shí)驗(yàn)室中加載,用于機(jī)器學(xué)習(xí)模型訓(xùn)練。

3.2.4 合同解析

國(guó)際大型石油貿(mào)易公司每年簽署的實(shí)貨貿(mào)易合同均數(shù)以萬計(jì)。國(guó)內(nèi)各公司當(dāng)前合同審核的標(biāo)準(zhǔn)模式為業(yè)務(wù)部錄入合同后,進(jìn)行合同會(huì)簽審核,在審核過程中法務(wù)部負(fù)責(zé)合同進(jìn)行整體審核,各部門審核與其相關(guān)的部分。該操作中面臨一些難點(diǎn),如審核檢查需要手工比對(duì),占用大量時(shí)間;且因?qū)徍巳藛T業(yè)務(wù)能力不同,質(zhì)量難于把控;合同審核風(fēng)險(xiǎn)難于追蹤記錄及統(tǒng)計(jì)分析等。

因此,為了加快合同審核速度,統(tǒng)一提高全系統(tǒng)合同審核水平,提升對(duì)合同的整體風(fēng)險(xiǎn)分析及把控能力,合同解析模塊功能通過如下路徑實(shí)現(xiàn):(1)選取不同合同類型的樣本合同,將其非結(jié)構(gòu)化數(shù)據(jù)部分通過文字識(shí)別和自然語言分析技術(shù)進(jìn)行預(yù)處理,再以此數(shù)據(jù)為基礎(chǔ)建立合同標(biāo)準(zhǔn)庫(kù)模型,通過模型自學(xué)習(xí)對(duì)模型進(jìn)行訓(xùn)練;(2)當(dāng)有新的合同審核需求時(shí),標(biāo)準(zhǔn)庫(kù)模型將從文檔級(jí)別、子句級(jí)別進(jìn)行語義比較,對(duì)于重點(diǎn)條款進(jìn)行詳細(xì)比較和差異檢測(cè);(3)自動(dòng)初檢后的合同交人工復(fù)檢,同時(shí)由人工提供反饋,以對(duì)模型進(jìn)行持續(xù)不斷的深度訓(xùn)練。

4 結(jié)束語

石油石化產(chǎn)業(yè)與互聯(lián)網(wǎng)的“聯(lián)姻”將從產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié),挖掘出互聯(lián)網(wǎng)技術(shù)“1+1﹥2”的乘數(shù)效應(yīng)。從企業(yè)外部來看,兩者的結(jié)合將極大地促進(jìn)能源供應(yīng)和消費(fèi)的互動(dòng),更精準(zhǔn)地對(duì)接市場(chǎng)需求,從而提高供給質(zhì)量和效率。業(yè)內(nèi)企業(yè)如能利用大數(shù)據(jù)技術(shù)完成海量消費(fèi)數(shù)據(jù)的采集、篩選、分析和挖掘,最終實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的精準(zhǔn)能源供給,將能更好地滿足用戶個(gè)性化的用能需求,增強(qiáng)客戶信任度和忠誠(chéng)度。從企業(yè)內(nèi)部看,大數(shù)據(jù)分析技術(shù)的應(yīng)用將有助于企業(yè)提高工作效率,節(jié)約運(yùn)營(yíng)成本,更充分地整合和利用資源。有理由相信,傳統(tǒng)能源行業(yè)在“互聯(lián)網(wǎng)+”的助力下,將會(huì)促進(jìn)行業(yè)轉(zhuǎn)型,實(shí)現(xiàn)改革、開拓、創(chuàng)新的發(fā)展新局面。

關(guān)鍵字:趨勢(shì)數(shù)據(jù)分析應(yīng)用國(guó)際

本文摘自:能源情報(bào)

電子周刊
回到頂部

關(guān)于我們聯(lián)系我們版權(quán)聲明隱私條款廣告服務(wù)友情鏈接投稿中心招賢納士

企業(yè)網(wǎng)版權(quán)所有 ©2010-2024 京ICP備09108050號(hào)-6 京公網(wǎng)安備 11010502049343號(hào)

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 甘泉县| 沈丘县| 麦盖提县| 沙湾县| 河南省| 图们市| 江北区| 灵川县| 襄汾县| 兴宁市| 西充县| 乐平市| 岢岚县| 长阳| 新津县| 临清市| 洛浦县| 浮梁县| 永州市| 长子县| 调兵山市| 大埔县| 长沙县| 齐河县| 双桥区| 云阳县| 东莞市| 江都市| 海门市| 全椒县| 沽源县| 三台县| 尚志市| 中西区| 蓝山县| 永州市| 依兰县| 商河县| 唐河县| 竹山县| 岳阳县|