2001年，高德納(Gartner)公司的一份研究報告首次出現(xiàn)“大數(shù)據(jù)(Big Data)”概念的提法。時至今日，雖然對“大數(shù)據(jù)”一詞的定義說法不一，但越來越多的研究機構(gòu)和網(wǎng)絡(luò)媒體開始關(guān)注它。大數(shù)據(jù)正成為繼云計算(Cloud Computing)之后新的熱詞。同云計算一樣，大數(shù)據(jù)雖然也看不見摸不到，卻與今日的信息技術(shù)發(fā)展如影隨形，并潛行于當前的信息生產(chǎn)、加工、交換過程之中。這些數(shù)據(jù)絕大多數(shù)是“非結(jié)構(gòu)化數(shù)據(jù)”，通常不能為傳統(tǒng)的數(shù)據(jù)庫所用，但隨著自然語言處理、模式識別和機器學(xué)習等人工智能技術(shù)的發(fā)展，這些龐大的數(shù)據(jù)“寶藏”將成為未來世界的新“石油”。

    如同高德納公司的報告里提到的那樣，業(yè)界普遍認同所謂“大數(shù)據(jù)”具有明顯的“3V特征”：量級(Volume)，速度(Velocity)和多樣性(Variety)。大數(shù)據(jù)普遍具有量級大，要求處理速度快，數(shù)據(jù)本身具有豐富的多樣性。在甲骨文公司和中國移動研究院的相關(guān)研究文檔里，都追加了第四個V——Value，價值，而IBM在其相關(guān)文檔中給出的第四個“V”則是真實性(Veracity) 。基于此，大數(shù)據(jù)可以被定義為：以新數(shù)據(jù)處理技術(shù)為手段，在海量、結(jié)構(gòu)復(fù)雜、內(nèi)容多樣的數(shù)據(jù)集中，以較快速度解析出規(guī)律性或根本性的判斷、趨勢或預(yù)見。更為簡單地說，是數(shù)據(jù)集太大以至于傳統(tǒng)數(shù)據(jù)庫軟件無法處理，所以稱為“大數(shù)據(jù)技術(shù)”。
    大數(shù)據(jù)的提出是為了解決現(xiàn)有數(shù)據(jù)技術(shù)無法滿足快速增多、日益復(fù)雜化的數(shù)據(jù)集合，因此基于大數(shù)據(jù)的技術(shù)涉及層面較廣，至少包括如下一些現(xiàn)有技術(shù)的綜合運用。關(guān)聯(lián)規(guī)則學(xué)習、分類、分組分析、眾包技術(shù)、數(shù)據(jù)異構(gòu)與同構(gòu)、機器學(xué)習、自然語言處理、神經(jīng)網(wǎng)絡(luò)、模式識別、預(yù)測模型、情態(tài)分析、信號處理、時序分析和可視化處理等。
    大數(shù)據(jù)的具體化、實例化的應(yīng)用離不開Apache Hadoop項目，一種開源、可擴展、分布式的應(yīng)用計算架構(gòu)。它包括Common、DistributedFile System、MapReduce三個組件部分。Hadoop的 Map/Reduce 框架是一種主/從架構(gòu)，機群中有單一的主服務(wù)器以及若干個從服務(wù)器，在每個節(jié)點都有一個從服務(wù)器，這些分布式的節(jié)點協(xié)同工作，共同完成一個整體的大數(shù)據(jù)處理任務(wù)。
    大數(shù)據(jù)風暴帶來種種利好，著名市場研究機構(gòu)IDC 數(shù)據(jù)預(yù)測：大數(shù)據(jù)市場規(guī)模將從2010 年的32 億美元成長到2015 年的169 億美元，2020 年新增的數(shù)字信息成長幅度將是2009 年的近45 倍。其中，傳統(tǒng)的標準化、結(jié)構(gòu)化數(shù)據(jù)只占15%左右，85%的數(shù)據(jù)來源于企業(yè)內(nèi)各種信息活動、電子商務(wù)、物聯(lián)網(wǎng)或外界社交網(wǎng)絡(luò)等領(lǐng)域中的半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。在現(xiàn)代服務(wù)業(yè)科技發(fā)展“十二五”專項規(guī)劃上，把信息處理技術(shù)作為4 項關(guān)鍵技術(shù)創(chuàng)新工程之一提出來，其中包括了海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外3 項關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也都與大數(shù)據(jù)密切相關(guān)。

    1 大數(shù)據(jù)與電力信息化的關(guān)系

    電力工業(yè)作為國家基礎(chǔ)性能源設(shè)施，與社會發(fā)展和人民生活息息相關(guān)，是國民經(jīng)濟社會健康穩(wěn)定持續(xù)發(fā)展的重要條件。積極應(yīng)用大數(shù)據(jù)技術(shù)，推動中國電力電力信息化大數(shù)據(jù)事業(yè)發(fā)展，對實現(xiàn)中國電力工業(yè)科學(xué)發(fā)展具有極大的現(xiàn)實意義。中國電機工程學(xué)會電力信息化專委會擬編制發(fā)布《中國電力大數(shù)據(jù)發(fā)展白皮書(2013)》，這將是我國首次就電力大數(shù)據(jù)問題發(fā)布白皮書。白皮書第一次提出了電力大數(shù)據(jù)的定義，并同時指出重塑電力核心價值和轉(zhuǎn)變電力發(fā)展方式是中國電力大數(shù)據(jù)的兩條核心主線。白皮書還第一次提出了電力大數(shù)據(jù)的特征即3V、3E，“3V”是指體量大(Volume)、類型多(Variety)和速度快(Velocity)，“3E”指數(shù)據(jù)即能量(Energy)、數(shù)據(jù)即交互(Exchange)、數(shù)據(jù)即共情(Empathy)。
    電力企業(yè)是不是符合大數(shù)據(jù)應(yīng)用的企業(yè)?隨著電力工業(yè)與信息化的深度融合，電力信息化對電力企業(yè)的決策、運營、銷售的價值不斷增強，這種價值的躍升將使電力企業(yè)具有大數(shù)據(jù)的時代特征。電力信息化將突破傳統(tǒng)運維，產(chǎn)生更多的增值服務(wù)，甚至催生新的管理模式創(chuàng)新。數(shù)據(jù)中心將被賦予更多的職能，比如強大的數(shù)據(jù)挖掘、數(shù)據(jù)分析和決策能力。電力企業(yè)業(yè)務(wù)數(shù)據(jù)主要來自生產(chǎn)數(shù)據(jù)和運營管理數(shù)據(jù)。電力企業(yè)生產(chǎn)數(shù)據(jù)既包括發(fā)電量、電壓穩(wěn)定性等實時采集的數(shù)據(jù)，也包括物聯(lián)網(wǎng)、云計算、新能源并網(wǎng)等技術(shù)帶來的新數(shù)據(jù)業(yè)務(wù)。電力企業(yè)運營管理數(shù)據(jù)，則包括ERP、一體化平臺、協(xié)同辦公等方面的數(shù)據(jù)。如能充分利用這些基于電力生產(chǎn)、使用等實際數(shù)據(jù)，對其進行深入分析，便可以提供大量的高附加值服務(wù)。這些增值服務(wù)將有利于電廠生產(chǎn)安全檢測與控制，電力企業(yè)決策分析與管理流程控制，電力企業(yè)精細化運營管理等，實現(xiàn)更科學(xué)的電力需求側(cè)管理。
    電力行業(yè)應(yīng)當在大力推廣信息化建設(shè)的同時，認識到數(shù)據(jù)背后的價值，搞好數(shù)據(jù)治理，并積極投入到數(shù)據(jù)挖掘與分析運用工作中，實踐大數(shù)據(jù)戰(zhàn)略，挖掘數(shù)據(jù)價值，為電力行業(yè)發(fā)、輸、配、變、用電各環(huán)節(jié)建設(shè)，以及電力營銷等業(yè)務(wù)發(fā)展提供科學(xué)指導(dǎo)，及有效解決方案，重視提升電力行業(yè)信息化系統(tǒng)輔助決策能力。

    2 電力信息建設(shè)在大數(shù)據(jù)時代的思考與探索

    大數(shù)據(jù)不僅僅是一門技術(shù)，同時也是一種全新的商業(yè)模式，它與云計算共同構(gòu)成了下一代經(jīng)濟的生態(tài)系統(tǒng)，大數(shù)據(jù)對于電力信息化建設(shè)的影響已經(jīng)發(fā)生并將繼續(xù)深入。對應(yīng)現(xiàn)在已經(jīng)建立健全的信息系統(tǒng)，電力企業(yè)應(yīng)該在技術(shù)上做好哪些準備工作?越來越多的大數(shù)據(jù)出現(xiàn)在電力企業(yè)面前時，電力信息化建設(shè)應(yīng)如何應(yīng)對?電力信息化建設(shè)將做哪些工作提高大數(shù)據(jù)時代的信息安全性?電力信息化建設(shè)將如何將大數(shù)據(jù)變成利潤增長點?這些問題都是大數(shù)據(jù)時代帶個電力信息建設(shè)的思考和探索。
   建設(shè)如果接受大數(shù)據(jù)變革，要建立合適的數(shù)據(jù)規(guī)則，中國的發(fā)電企業(yè)多以集團化運營，分子公司遍布全國甚至海外，發(fā)電形式多樣。要實現(xiàn)集團內(nèi)大數(shù)據(jù)處理首先要通過詳盡調(diào)研、研討后根據(jù)不同類型電廠制定統(tǒng)一的、標準化的數(shù)據(jù)結(jié)構(gòu)。每一個電力企業(yè)根據(jù)自身發(fā)展、管理、運營的需要信息化建設(shè)在決策層發(fā)揮的作用與實現(xiàn)的方式都存在而且應(yīng)該存在差異。而從電廠生產(chǎn)設(shè)備、管理運營方式、集團管理制度的方向出發(fā)，同一發(fā)電集團公司內(nèi)的同種類型電廠信息化系統(tǒng)可利用數(shù)據(jù)結(jié)構(gòu)相同度要遠大于差異度，甚至不可能在同一個數(shù)量級中。在梳理數(shù)據(jù)結(jié)構(gòu)整個過程包括涵蓋業(yè)務(wù)的梳理與理解、數(shù)據(jù)構(gòu)成的理解、數(shù)據(jù)結(jié)構(gòu)的準備、建立相對應(yīng)的數(shù)據(jù)挖掘模型、評估和部署六個步驟。
    在做這項工作前，應(yīng)該對發(fā)電企業(yè)的業(yè)務(wù)有詳盡的了解，根據(jù)業(yè)務(wù)需求明確需要進行梳理的數(shù)據(jù)結(jié)構(gòu)的意義、要求和最終目的。再明確業(yè)務(wù)需求后則可對原始數(shù)據(jù)進行可利用評估，從發(fā)電集團公司到電廠根據(jù)實際決策需要確定各層級需要的數(shù)據(jù)，并對原始數(shù)據(jù)進行匯總、清理、集成、變換、分析等一系列收集和預(yù)處理工作;在搞好數(shù)據(jù)準備工作后可通過建設(shè)手段針對不同單位的業(yè)務(wù)需要各自研發(fā)或集中研發(fā)適合的信息系統(tǒng)和數(shù)字化產(chǎn)品;利用統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)利用不同技術(shù)將企業(yè)需要的數(shù)據(jù)可視化的呈現(xiàn)出來。
    電力企業(yè)所要做的就是切實利用和推廣好信息系統(tǒng)，以便在相對統(tǒng)一的數(shù)據(jù)收集框架下開展數(shù)據(jù)收集工作和需求調(diào)研工作。在結(jié)合實際工作中，要深入認識各數(shù)據(jù)產(chǎn)生企業(yè)的差異性，存在的數(shù)據(jù)冗余、缺失、錯誤、更新不及時等不同問題，針對發(fā)現(xiàn)的問題不斷合理優(yōu)化數(shù)據(jù)取舍與收集標準，并利用數(shù)據(jù)預(yù)處理技術(shù)提高和確保數(shù)據(jù)質(zhì)量。因為高質(zhì)量、規(guī)范化、格式統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)是進行數(shù)據(jù)挖掘工作的基礎(chǔ)。
    在成功進行數(shù)據(jù)結(jié)構(gòu)規(guī)范工作后，生產(chǎn)數(shù)據(jù)的企業(yè)在研發(fā)信息系統(tǒng)時只需要按照規(guī)范數(shù)據(jù)結(jié)構(gòu)進行開發(fā)。上級管理單位在實施集中開發(fā)時只需要關(guān)注新研發(fā)系統(tǒng)對不同數(shù)據(jù)來源的容錯能力和優(yōu)化能力，而不再關(guān)注數(shù)據(jù)是如何產(chǎn)生的、一個數(shù)據(jù)字段到底代表了什么含義等繁瑣、錯誤率高的工作。統(tǒng)一的數(shù)據(jù)標準在不改變生產(chǎn)數(shù)據(jù)企業(yè)的工作量的同時有效降低上級企業(yè)信息系統(tǒng)開發(fā)的難度。
    提升大數(shù)據(jù)的使用能力。存在牢固和一致的數(shù)據(jù)基礎(chǔ)，便要考慮如何利用好大數(shù)據(jù)。當前電力企業(yè)信息系統(tǒng)存在業(yè)務(wù)單一、類型多樣，基本都局限在處理單一業(yè)務(wù)層需求，僅實現(xiàn)單一需求報表和業(yè)務(wù)圖標的功能。企業(yè)管理與決策者僅能通過一個系統(tǒng)獲得有限的靜態(tài)業(yè)務(wù)信息，往往利用信息決策要訪問多個信息系統(tǒng)，且信息系統(tǒng)之間相互獨立，缺乏關(guān)聯(lián)，孤島現(xiàn)象一直存在與電力信息系統(tǒng)中，導(dǎo)致系統(tǒng)使用者要自己判斷數(shù)據(jù)的準確性和指導(dǎo)性。面對龐大的企業(yè)組織架構(gòu)和復(fù)雜的業(yè)務(wù)體系，以及不斷變化的資源與經(jīng)濟形勢，僅將大量數(shù)據(jù)靜態(tài)呈現(xiàn)是遠不能滿足企業(yè)決策需要的。因此，在電力信息建設(shè)踐行大數(shù)據(jù)戰(zhàn)略過程中，首先要利用云計算技術(shù)或數(shù)據(jù)挖掘相關(guān)技術(shù)建立數(shù)據(jù)孤島之間的聯(lián)系，放棄探尋數(shù)據(jù)間的因果關(guān)系，注重數(shù)據(jù)的關(guān)聯(lián)關(guān)系，探尋數(shù)據(jù)與人、生產(chǎn)、政策、利潤間，數(shù)據(jù)與業(yè)務(wù)間的各種關(guān)聯(lián)性，為企業(yè)決策提供全面的、準確的、更具實際意義的預(yù)測與輔助決策。

    3 大數(shù)據(jù)對電力信息化發(fā)展的應(yīng)用和價值

    電力是大數(shù)據(jù)理念、技術(shù)和方法在電力行業(yè)的實踐。電力大數(shù)據(jù)涉及到發(fā)電、輸電、變電、配電、用電、調(diào)度各環(huán)節(jié)，是跨單位、跨專業(yè)、跨業(yè)務(wù)數(shù)據(jù)分析與挖掘，以及數(shù)據(jù)可視化。
    電力大數(shù)據(jù)的應(yīng)用一方面是與宏觀經(jīng)濟、人民生活、社會保障信息融合，促進經(jīng)濟社會發(fā)展;另一方面，是電力行業(yè)或企業(yè)內(nèi)部，跨專業(yè)、跨單位、跨部門的數(shù)據(jù)融合，提升行業(yè)、企業(yè)管理水平和經(jīng)濟效益。
    為打造“美麗中國”貢獻力量，電力企業(yè)投產(chǎn)清潔能源項目越來越多，光伏發(fā)電、風力發(fā)電都對地形地貌、環(huán)境特征有很高的要求和條件。針對于清潔能源項目建設(shè)的要求可借助電力生產(chǎn)MIS系統(tǒng)與地理信息GIS系統(tǒng)中大量的數(shù)據(jù)，結(jié)合環(huán)境采集數(shù)據(jù)等，綜合考量不同地域電力生產(chǎn)水平、地形優(yōu)勢與資源分布。利用大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)提供給規(guī)劃人員支撐電站建設(shè)布局的決策數(shù)據(jù)，實現(xiàn)項目建設(shè)的科學(xué)調(diào)配。也可通過綜合分析影響風力發(fā)電、光伏發(fā)電機組運行的諸多環(huán)境因素，例如：溫度、光照、濕度、風力等數(shù)據(jù)，預(yù)測氣候模式，從而規(guī)劃處最佳的機組運行方案。通過這種方式，可有效降低生產(chǎn)成本和提高產(chǎn)出效益。
    通過建立分布式數(shù)據(jù)中心，處理廠級監(jiān)控系統(tǒng)sis系統(tǒng)數(shù)據(jù)，共享電力行業(yè)內(nèi)的設(shè)備運行狀況、生產(chǎn)數(shù)據(jù)和維護方式，通過數(shù)據(jù)中心服務(wù)器整合分析，機器自主學(xué)習生產(chǎn)出現(xiàn)問題時的相關(guān)數(shù)據(jù)狀態(tài)，形成基于大數(shù)據(jù)的自動預(yù)警值，實現(xiàn)對潛在問題的評估預(yù)測，建立前瞻性的設(shè)備維護體系，建立可預(yù)測的設(shè)備維護方案。通過海量基礎(chǔ)數(shù)據(jù)分析建立每個設(shè)備的“維護生命周期”，依數(shù)據(jù)為依據(jù)決定哪些設(shè)備、在什么時間進行維護，并通過多家電廠的共享大數(shù)據(jù)中提供相應(yīng)設(shè)備的維護方案。
    通過建立各生產(chǎn)系統(tǒng)數(shù)據(jù)互通，依靠不同種類生產(chǎn)系統(tǒng)，對傳統(tǒng)發(fā)電企業(yè)和清潔能源發(fā)電企業(yè)都會給與數(shù)據(jù)層面的決策性預(yù)測。在基礎(chǔ)數(shù)據(jù)不斷積累的前提下，分析電廠或發(fā)電設(shè)備周圍環(huán)境變化和氣候變化，掌握不同時期煤炭儲備量和煤炭消耗量的關(guān)系。都可對于全國范圍的季節(jié)性來水與機組負荷下降等因素影響的機組停備工作進行有效預(yù)測和數(shù)據(jù)支持。通過大數(shù)據(jù)分析決策能力，提供生產(chǎn)設(shè)備狀態(tài)數(shù)據(jù)，開展機組停備檢修工作，加強設(shè)備管理，強化員工培訓(xùn)。
    電力信息化建設(shè)利用大數(shù)據(jù)技術(shù)，在企業(yè)數(shù)據(jù)共享的平臺下獲取電力企業(yè)生產(chǎn)數(shù)據(jù)、管理數(shù)據(jù)、地形地貌數(shù)據(jù)、煤炭資源檢測數(shù)據(jù)、水資源數(shù)據(jù)等有效數(shù)據(jù)中提煉準確的、有價值的數(shù)據(jù)都將成為管理效益、決策能力提升的有效臂膀，甚至可通過大數(shù)據(jù)的積累將數(shù)據(jù)打包銷售或共享給金融機構(gòu)、科研院所、政府機構(gòu)等，成為新的經(jīng)濟效益與社會效益增長點。

    4 重視大數(shù)據(jù)時代的信息安全體系建設(shè)

    信息安全在任何信息發(fā)展階段都占有不可忽視的重要地位，在對大數(shù)據(jù)發(fā)展規(guī)劃的同時，應(yīng)該加大對大數(shù)據(jù)安全形勢的宣傳力度，明確其為重點的保障對象，加強對敏感和要害數(shù)據(jù)的監(jiān)管，制定設(shè)備特別是移動設(shè)備安全使用規(guī)程，規(guī)范大數(shù)據(jù)的使用方法和流程。加快面向大數(shù)據(jù)的信息安全技術(shù)的研究，推動基于大數(shù)據(jù)的安全技術(shù)研發(fā)，研究基于大數(shù)據(jù)的網(wǎng)絡(luò)攻擊追蹤方法，搶占發(fā)展基于大數(shù)據(jù)的安全技術(shù)的先機。培養(yǎng)大數(shù)據(jù)安全的專業(yè)人才，建立完善大數(shù)據(jù)信息安全體系。

    5 結(jié)語

    大數(shù)據(jù)技術(shù)是未來信息社會發(fā)展的一個大方向，它為人類全面、深刻地認識世界、認識自身提供了新的方式、新視角，這在此前的時代是無法辦到的，大數(shù)據(jù)是未來技術(shù)發(fā)展的一片藍海。大量的數(shù)據(jù)處理無疑給現(xiàn)在的信息技術(shù)提出了新的挑戰(zhàn)，而這一問題在信息化程度不斷提高的電力企業(yè)中同樣正在凸顯出來。隨著信息技術(shù)的推進和發(fā)展，電力企業(yè)的數(shù)據(jù)也會成爆炸式增長。大數(shù)據(jù)不是洪水猛獸，而是可供利用的信息資產(chǎn)。如何使用好大數(shù)據(jù)，充分活化企業(yè)數(shù)據(jù)資產(chǎn)，更好地服務(wù)電力事業(yè)發(fā)展和廣大電力客戶將成為擺在電力企業(yè)面前值得思考的課題。