大數據時代下電力企業面臨挑戰。我國原有電力企業實行垂直一體化管理，2000年后我國電力企業實行更全面更深刻的改革。就目前的現狀來看，電力企業包括獨立的發電廠、五大發電公司、兩大獨立核算的電網經營企業，以及電力建設公司等其他獨立核算單位。基于目前我國電力企業的發展現狀，大數據產生于電力企業的各個方面。在發電側，隨著數字化電廠的建成，海量的有關故障監控、設備運行狀態等數據被各大電廠保留下來;在輸電側和配電側，在輸變電設備狀態監測系統中，為了能對絕緣放電等狀態進行診斷，最大程度減少線損，需存儲和監控的數據量十分巨大;在用電側，電力用戶的個人信息、電價信息以及智能電網的發展、電動汽車充放電監測信息都會產生海量數據。

然而，大多數電力企業的數據庫僅僅實現了數據存儲、查詢、統計等最基本層次的功能，無法深入挖掘出隱藏在海量數據背后潛在的價值。電力大數據時代下必將會對作為我國經濟社會中存儲電力運行信息知識、提供電力運行數據的電力企業帶來巨大的影響。因此，深刻理解大數據的內涵，聯系目前我國電力系統的發展以及電力系統數據存儲、利用的現狀就顯得十分必要，這也為電力企業真正應對大數據時代下電力企業面臨的挑戰提供了相關的思考。收集數據電力大數據時代，電力企業數據來源不僅僅是企業內部的歷史年度數據，還包括來自互聯網和信息機構的各種數據。收集這些信息是要附上相應的時空標志，必要的時候要剔除無效數據，同時還應當盡可能收集不同數據來源、結構化程度不同的數據，并且做到盡可能和企業內部的歷史數據相對照，以便于驗證信息的可靠性和真實性，這對于電力企業來說，將是個不小的挑戰。半結構化和結構化數據現代互聯網應用呈現出非結構化和半結構化數據大幅度增長的特點。據不完全統計，這類數據占有比例已經達到整個數據量的75%以上。同時，由于數據網絡化的存在，使得這類數據的復雜關系無處不在;另外，這類數據是以數據流的形式存在，數據價值化的體現與時間呈現明顯的相關性，價值稍縱即逝。盡管目前計算機智能化有了很大進步，但還只能針對有結構或類結構的數據進行分析，談不上深層次的數據挖掘。

分析數據網絡背后的數據關系大量觀測數據雖然可以映射出各種復雜的網絡系統，但由于這些數據往往是孤立的數據點，映射出的數據網絡難免片面，如何做好數據集成，使之成為一個完整的數據網絡，這是值得思考的問題。以發電企業為例，單單考慮發電量數據，得到的僅僅是發電廠發電量單一方面的數據。然而，發電數據是與電壓數據、線損數據、用戶用電數據等相互聯系的，如何利用模糊分析方法，考慮這些數據的參數關系，分析復雜網絡之間的聯系，對發電企業來說將是一個巨大的挑戰。

另外，由于各個發電企業、供電企業沒有統一對其專業化的信息系統進行建設，導致電力生產、銷售各專業數據彼此獨立，形成信息孤島。為破除信息孤島的數據壁壘，需要融合發電、輸電、變電、配電、用電等多方面數據，這就需要考慮如何對各環節多數據進行融合。電力大數據時代下的數據挖掘技術在電力大數據時代下，大數據已成為電力企業進行決策的基礎。但是，單純數據的積累并不能給電力企業帶來益處，只有運用相關的技術手段，對大量的數據進行深加工，發現隱含的信息并加以利用，進而指導電力企業做出正確的決策，這樣電力大數據的作用才能發揮到極致。研究認為數據挖掘技術的運用將會在電力企業成本降低、電力市場開拓、電力系統安全運行等方面發揮重大作用。

因此，理解數據挖掘技術及其在電力企業中的應用就顯得非常必要。數據挖掘技術數據挖掘技術是通過對海量數據進行建模，并通過數理模型對企業的海量數據進行整理與分析，以幫助企業了解其不同的客戶或不同的市場劃分的一種從海量數據中找出企業所需知識的技術方法。如果說云計算為海量分布的電力數據提供了存儲、訪問的平臺，那么如何在這個平臺上發掘數據的潛在價值，使其為電力用戶、電力企業提供服務，將成為云計算的發展方向，也將是大數據技術的核心議題。電力系統是一個復雜的系統，數據量龐大，特別是在電力企業進入大數據時代后，僅僅是電力設備運行和電力負荷的數據規模就已十分驚人。因此，光靠傳統的數據處理方法就顯得不合時宜，而數據挖掘技術的實現為解決這一難題提供了新的出路。數據挖掘技術在電力系統負荷預測和電力系統運行狀態監控、電力用戶特征值提取、電價預測等方面有很好的應用前景。有關數據挖掘技術的思考我國電力市場化運行過程中，電力市場運行模式大體經歷了壟斷模式、發電競價模式、電力轉運模式，現在正在積極過渡到配電網開放模式。在這個過渡階段，高質量的數據更是大數據發揮效能的前提，先進的數據挖掘技術是大數據發揮功效的必要手段。國際數據公司(InternationalDataCorporation，IDC)指出，在大數據時代下，新的數據類型與新的數據分析技術的缺失將是阻礙企業成為其行業領導者的重要因素。

該問題同樣存在于電力企業中。但是，先進的數據挖掘技術只有在高質量的大數據環境下才能提取出隱含的、有用的信息，否則，即使數據挖掘技術再先進，在充滿噪音的大數據環境中也只能提取出毫無意義“垃圾”信息。為此，電力企業為了應對電力大數據時代下數據質量對數據挖掘技術帶來的挑戰，應該考慮設立首席數據官(chiefdataofficer,CDO)，進行專門的數據管理工作，定義元數據標準，保證數據質量。國內一些企業目前只是設立了首席信息官(chiefinformationofficer，CIO)，但是由于CIO只是技術專家，很難系統全面地開展數據挖掘工作，這就使得這些企業漸漸失去了充分利用大數據的優勢。因此，傳統的數據管理方式已經很難滿足大數據時代下對數據質量的要求，在電力大數據時代下，如何提高數據的質量，電力企業任重道遠。

大數據時代下電力企業數據挖掘技術的實現途徑大數據時代下，由于數據信息量巨大，使得數據挖掘是知識的自發現過程。在無明顯目標的情況下需要從不同的數據源獲得數據，然后對數據進行預處理，并使用模糊識別等算法對數據進行挖掘分析。為此，中國人民大學網絡與移動管理實驗室開發出了一種采用面向領域的DeepWeb數據集成技術，進而實現對Web數據自動集成和處理。分析認為大數據時代下電力企業數據挖掘技術主要由數據收集、數據整理、數據管理、數據分析、數據展示等過程組成，整個過程如圖所示。數據來源層實現大數據收集工作得益于移動設備、無線射頻識別技術(radiofrequencyidentification，RFID)、互聯網、自動記錄系統等技術設備，數據來源層主要存放了電力企業內部大量的事務型數據，以及會對電力企業決策產生影響的外部性數據。同時，為了使所獲得的數據更具代表性，電力企業要嘗試收集不同數據源產生的數據，為數據挖掘的后續工作做好準備。

數據整理層在數據挖掘技術中的實現在數據整理過程中，由于數據源數據內容往往交叉，所以需要按照互動性對觀測數據進行分類。同時，由于原始數據中有噪聲數據、冗余數據及缺失數據等問題，需要對數據進行解析、清洗、重構，并填補缺失數據以提高待挖掘數據的質量。經過分類后數據被大致分為兩大類：結構化數據、半結構化與非結構化數據。對于結構化數據，需要對其進行數據過濾，剔除無效數據以提高分析效率;對于半結構化和非結構化數據，需要按照一定的標準處理成機器語言或索引。例如，對電力用戶評論、電力系統運行日志資料等數據，就需要轉換成加權邏輯或是模糊邏輯，并將不同的詞語映射到標準值上，形成企業統一的語言。數據管理層在數據挖掘技術中的實現通過數據整理層，將經過整理和轉化的數據存儲到電力數據倉庫(datawarehouse，DW)中，由于不同的電力數據庫儲存標準不同，因此需要整合轉化后才能儲存到數據倉庫中，這里就需要對數據倉庫進行重新設計。

經過重新設計的數據倉庫，可以根據不同的主題設計不同的屬性集，從而減少數據處理量;針對不同的主題數據庫，可以采取粗糙集的屬性歸約算法刪除數據中的冗余信息，得到精簡的數據集;然后將決策樹所表示的數據集表示為IF-THEN的分類規則知識，并儲存在規則知識庫中;如果有新數據樣本需要處理，可以按照一定的規則算法進行識別匹配，從而進行綜合評價。數據分析層在數據挖掘技術中的實現經過數據管理層處理的數據，可以通過聯機分析處理技術(on-lineanalyticalprocessing，OLAP)來支撐復雜的決策分析過程，從而將數據轉化成為輔助決策的信息。鑒于電力企業對數據實時性要求很高，可以將電力企業的數據分為實時性數據和非實時性數據進行分類處理。針對非實時性數據，可以考慮基于分布式文件系統(distributedfilesystem，DFS)和MapReduce技術的云計算來進行處理;也可以基于Hadoop，一種DFS和MapReduce的開源實現的云計算平臺來進行數據處理。對于實時性數據，如電力負荷數據，一方面電力企業可以通過內存計算技術，將全部數據通過內存運行進行計算，這將是提高計算速度的有效辦法;另外，可以在云平臺前面設置若干前置機，用于實時接收數據。

數據展示層可視化企業目標通過電力營銷決策支持系統(ElectricMarketingDecisionSupportSystem，EMDSS)，運用良好的數據可視化設計，借助圖形表達數據中的復雜信息，將數據挖掘的成果可視化，并將其運用到電力企業未來的發展規劃中。將深度挖掘的數據可視化，可以使員工清楚地認識到電力企業未來的發展方向、評價決策制定的正確與否。結果是否符合實際，是決定整個系統挖掘技術是否成功的標準。展望基于我國的基本國情，電力企業具備非常好的從數據運營角度獲取更大程度信息、資源、知識發現的基礎。因此，電力企業完全可以立足大數據，以數據挖掘技術為基礎，創造數據增值服務。智能電網的發展對于智能的理解，是指能夠深刻分析收集到的材料、數據，以獲得一個比較系統和全面的知識來解決特定的問題，從而滿足商業戰略目標的需要。智能面向電力行業，就是指電力行業發電、供電和用電的組織結構更加合理、運行程序更加優良、綜合功效更加強大的智慧系統，即所謂的智能電網。智能電網基于數據和能源的同步傳輸，通過促進能源與信息技術的深度融合，已經逐漸形成了以能源、數據為運行體系支撐下的堅強可靠、友好互動、清潔環保的能源管理網絡。

大數據與電網的融合涉及從發電企業到最終用戶的整個能源轉換過程和電力輸送鏈。由于智能電網的快速發展，信息通信技術正以前所未有的廣度、深度與電網生產、企業管理快速融合，信息通信系統儼然已經成為智能電網的“中樞神經系統”，支撐新一代電網生產和管理的快速發展。一個行業的結構越合理，內部摩擦越小，功效越大，系統的智慧程度就越高，每次人與數據的互動就更有機會以更高效和更多產的方式分析匯總，從而更好地支持決策行動。當前，國家電網公司已初步建成了國內領先、國際一流的信息集成平臺，隨著后續智能電表的逐步普及，電網業務數據將從時效性層面進一步豐富和拓展。通過對拓展到家庭、企業的廣泛覆蓋的數據采集網絡進行深度的數據挖掘，可以進一步實現智能用電管理，使用戶掌握實時用電信息、在線互動能耗數據，實現能源高效循環利用，進而為節能減排提供依據。因此，智能電網的發展，將更好地推動數據挖掘技術在電力行業的運用。

基于數據挖掘技術的客戶關系管理隨著電力企業改革的不斷深入發展，客戶關系管理(customerrelationshipmanagement，CRM)已經廣泛應用到電力企業管理中，電力用戶日益成為電力企業競爭的核心。不同的用戶對電力的需求是不同的，哪家供電企業如果能夠及時運用一定的方法和工具將電力需求不同的客戶進行分類，誰就能獲得先機，取得競爭優勢。對此，電力企業可以通過挖掘由客戶信息、用電信息組成的主題倉庫，來對電力用戶進行進一步了解。

再如，企業競爭情報系統的分析方法需要處理大量的數據，通常都是PB級的。如果通過對這些情報數據進行分析，將具有類似電力需求的客戶歸在一類，將有助于電力企業尋找最有價值的電力客戶。通過向這些客戶提供特殊的服務，投放不同的廣告，將有助于提高其滿意度和忠誠度，從而為電力企業盈利提供保證。

對此，可以將聚類分析運用到CRM中，從而能夠針對不同的消費者群體提供更多的個性化服務,以便于更好滿足電力客戶的需求，為電力企業爭取更多的客戶。建立以數據挖掘技術為核心的信息系統由于計算機技術、網絡技術在處理數據資料上的便捷、高效，電力企業為了適應時代的需求，大多探索建立了信息系統來輔助自己對內外部數據進行系統統計和精確分析，這樣使得電力用戶資料統計變得相對簡單、易于操作。對于現代電力企業，應該逐漸摒棄“以產品為中心(good-domimantlogic)”的傳統管理模式，并轉變為“以服務為中心(service-dominantlogic)”的面向“社會媒體—網民群體—電力企業”的“企業網絡生態系統(enterpriseecocystem)”的新型管理模式。

對此，一些電力企業開展了網上辦電、網上業務咨詢等服務，并對由此產生的信息進行分析和利用，從中獲得收益;中國南方電網有限責任公司也將投資建設一體化信息平臺;五大發電企業目前正在重構其信息系統以建立新的管理與運營模式，把建立統一的信息平臺作為信息化建設的重點項目。同時，有人還提出了基于傳統“目標驅動決策”和現代的“數據驅動決”的技術創新管理雙向決策模型，如果將這個模型應用于供電企業中，可以形成以自組織動態監測為核心，能夠有效預警并處理用電高峰期的技術監測模型。

對于日趨完善的電力企業信息系統，數據挖掘技術的實施必將取得事半功倍的效果。數據挖掘過程中的能耗問題電力企業在進行用戶信息提取、負荷預測、數據庫維護過程中，由于面對數據中心存儲規模不斷擴大的現實，高能耗、高成本已經成為制約大數據時代下數據挖掘過程有效進行的一個瓶頸。據《紐約時報》和麥肯錫公司就能耗問題發表的一篇題為“PowerPollutionandtheInternet”的文章指出，對于Google來講，數據中心年耗電量約為3MW，而這些能耗中，只有6%～12%被合理利用。對于我國的電力企業來講，絕大多數電能用于使服務器處于閑置狀態，以應對負荷高峰時等情況。因此，對于電力企業來講，應該從采用新型低功耗硬件以及引入可再生的新能源來構造一個綠色數據庫等角度來考慮如何緩解能耗問題，將節約的能源再利用于基于時間序列相似性的電價預測。