智能電網(wǎng)是大數(shù)據(jù)的重要技術(shù)應用領(lǐng)域之一。智能電網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復雜、種類繁多，具有分散性、多樣性和復雜性等特征，這些特征給大數(shù)據(jù)處理帶來極大的挑戰(zhàn)。智能電網(wǎng)大數(shù)據(jù)平臺是大數(shù)據(jù)挖掘的基礎(chǔ)，通過智能電網(wǎng)大數(shù)據(jù)平臺可實現(xiàn)智能電網(wǎng)全數(shù)據(jù)共享，為業(yè)務應用開發(fā)和運行提供支撐。

引言

智能電網(wǎng)是以物理電網(wǎng)為基礎(chǔ)，將現(xiàn)代先進的傳感測量技術(shù)、通信技術(shù)、信息技術(shù)、計算機技術(shù)和控制技術(shù)與物理電網(wǎng)高度集成而形成的新型電網(wǎng)，見圖1。它涵蓋發(fā)電、輸電、變電、配電、用電和調(diào)度等各個環(huán)節(jié)，對電力市場中各利益方的需求和功能進行協(xié)調(diào)，在保證系統(tǒng)各部分高效運行、降低運營成本和環(huán)境影響的同時，盡可能提高系統(tǒng)的可靠性、自愈性和穩(wěn)定性。隨著智能電網(wǎng)的發(fā)展，電網(wǎng)在電力系統(tǒng)運行、設(shè)備狀態(tài)監(jiān)測、用電信息采集、營銷業(yè)務系統(tǒng)等各個方面產(chǎn)生和沉淀了大量數(shù)據(jù)，充分挖掘這些數(shù)據(jù)的價值具有重要的意義。

大數(shù)據(jù)是近年來受到廣泛關(guān)注的新概念，一般是指無法在可容忍的時間內(nèi)用傳統(tǒng)的IT技術(shù)、軟硬件工具和數(shù)學分析方法，對其進行感知、獲取、管理、處理和分析的數(shù)據(jù)集合。智能電網(wǎng)被看作是大數(shù)據(jù)應用的重要技術(shù)領(lǐng)域之一。目前許多學者正在進行智能電網(wǎng)大數(shù)據(jù)研究，包括發(fā)展戰(zhàn)略研究、大數(shù)據(jù)技術(shù)研究、應用研究等。

智能電網(wǎng)大數(shù)據(jù)應用眾多，涉及電網(wǎng)安全穩(wěn)定運行、節(jié)能經(jīng)濟調(diào)度、供電可靠性、經(jīng)濟社會發(fā)展分析等諸多方面，進行智能電網(wǎng)大數(shù)據(jù)分析需要統(tǒng)一智能電網(wǎng)大數(shù)據(jù)，并且由于應用眾多，對計算、存儲、網(wǎng)絡等性能提出了較高要求，因此需要構(gòu)建面向智能電網(wǎng)應用的統(tǒng)一大數(shù)據(jù)處理平臺。本文首先分析智能電網(wǎng)大數(shù)據(jù)特點以及業(yè)務應用需求，接著結(jié)合業(yè)務應用介紹大數(shù)據(jù)關(guān)鍵技術(shù)，進而提出智能電網(wǎng)大數(shù)據(jù)平臺和應用框架。

1、智能電網(wǎng)大數(shù)據(jù)概述

1.1智能電網(wǎng)大數(shù)據(jù)特點

根據(jù)數(shù)據(jù)來源的不同，可以將智能電網(wǎng)大數(shù)據(jù)分為電力企業(yè)內(nèi)部數(shù)據(jù)和電力企業(yè)外部數(shù)據(jù)。電力企業(yè)內(nèi)部數(shù)據(jù)源主要包括廣域量測系統(tǒng)(WAMS)、數(shù)據(jù)采集與監(jiān)控系統(tǒng)(SCADA)、在線監(jiān)測系統(tǒng)、用電信息采集系統(tǒng)、生產(chǎn)管理系統(tǒng)、能量管理系統(tǒng)、配電管理系統(tǒng)、客戶服務系統(tǒng)、財務管理系統(tǒng)等;電力企業(yè)外部數(shù)據(jù)源包括氣象信息系統(tǒng)、地理信息系統(tǒng)、互聯(lián)網(wǎng)數(shù)據(jù)、公共服務部門數(shù)據(jù)、社會經(jīng)濟數(shù)據(jù)等。這些數(shù)據(jù)分散放置在不同地方，由不同單位/部門管理，具有分散放置、分布管理的特性。

智能電網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復雜、種類繁多，除傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還包含大量的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，如客戶服務中心信息系統(tǒng)的語音數(shù)據(jù)，設(shè)備在線監(jiān)測系統(tǒng)中的視頻數(shù)據(jù)與圖像數(shù)據(jù)等。這些數(shù)據(jù)的采樣頻率與生命周期也各不同，從微秒級、分鐘級、小時級，一直到年度級。

1.2大數(shù)據(jù)業(yè)務需求分析

智能電網(wǎng)大數(shù)據(jù)業(yè)務應用根據(jù)對象不同可分為面向電力公司運行管理、面向電力用戶服務、面向政府部門輔助決策等3類。面向電力公司運行管理類應用包括電力系統(tǒng)穩(wěn)定性分析與控制、輸變電設(shè)備故障診斷與狀態(tài)檢修、配電網(wǎng)運行狀態(tài)評估與預警、配電網(wǎng)故障定位、負荷預測、城市電網(wǎng)規(guī)劃等;面向電力用戶服務類應用包括用戶用電行為分析、需求側(cè)管理、能效分析、供電服務輿情分析等;面向政府部門輔助決策類應用包括社會經(jīng)濟狀況分析與預測、政府決策支持與相關(guān)政策評估，如電價政策、新能源補貼政策等是否合理等。這些需求需要綜合電網(wǎng)運行狀態(tài)信息、用戶用電信息、客服系統(tǒng)信息、氣象數(shù)據(jù)、經(jīng)濟社會數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)等。

2、智能電網(wǎng)大數(shù)據(jù)關(guān)鍵技術(shù)

根據(jù)信息處理流程，大數(shù)據(jù)在智能電網(wǎng)中的應用可以分為數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲及處理、數(shù)據(jù)分析、數(shù)據(jù)解讀和數(shù)據(jù)應用6個環(huán)節(jié)，其關(guān)鍵技術(shù)包括數(shù)據(jù)集成技術(shù)、數(shù)據(jù)存儲技術(shù)、數(shù)據(jù)處理技術(shù)和數(shù)據(jù)分析技術(shù)。

2.1數(shù)據(jù)集成技術(shù)

智能電網(wǎng)大數(shù)據(jù)具有分散性、多樣性和復雜性等特征，這些特征給大數(shù)據(jù)處理帶來極大的挑戰(zhàn)。要想處理智能電網(wǎng)大數(shù)據(jù)，首先就需要對眾多數(shù)據(jù)源的數(shù)據(jù)進行集成，通過數(shù)據(jù)抽取、轉(zhuǎn)換、剔除、修正等處理，建立正確、完整、一致、完備、有效的智能電網(wǎng)大數(shù)據(jù)。目前通常采用的數(shù)據(jù)集成模型包括數(shù)據(jù)聯(lián)邦、基于中間件模型和數(shù)據(jù)倉庫等。

ETL是企業(yè)數(shù)據(jù)集成的主要解決方案。ETL指Extract、Transform、Load，即抽取、轉(zhuǎn)換、加載。數(shù)據(jù)抽取是從源數(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù);數(shù)據(jù)轉(zhuǎn)換是將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對錯誤、不一致的數(shù)據(jù)進行清洗和加工;數(shù)據(jù)加載是將轉(zhuǎn)換后的數(shù)據(jù)加載到目的數(shù)據(jù)源。ETL過程中的主要環(huán)節(jié)就是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)加載。為了實現(xiàn)這些功能，各個ETL工具一般會進行一些功能上的擴充，例如工作流、調(diào)度引擎、規(guī)則引擎、腳本支持、統(tǒng)計信息等。

數(shù)據(jù)集成是智能電網(wǎng)大數(shù)據(jù)應用的關(guān)鍵環(huán)節(jié)。智能電網(wǎng)大數(shù)據(jù)集成涉及眾多各類型的應用系統(tǒng)，這些系統(tǒng)類型和特征復雜，在實時性要求、數(shù)據(jù)規(guī)模、數(shù)據(jù)類型等方面存在較大的差異，在智能電網(wǎng)大數(shù)據(jù)集成中需要綜合考慮各種因素，在集成技術(shù)上單一技術(shù)可能很難實現(xiàn)，需要結(jié)合多種技術(shù)來實現(xiàn)智能電網(wǎng)大數(shù)據(jù)的集成。

2.2數(shù)據(jù)存儲技術(shù)

在智能電網(wǎng)大數(shù)據(jù)中，絕大多數(shù)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，同時也存在文本、圖像、音頻、視頻等非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)。對非結(jié)構(gòu)化數(shù)據(jù)可采用分布式文件系統(tǒng)進行存儲，對結(jié)構(gòu)松散無模式的半結(jié)構(gòu)化數(shù)據(jù)可采用分布式數(shù)據(jù)庫，對海量的結(jié)構(gòu)化數(shù)據(jù)可采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫系統(tǒng)或分布式并行數(shù)據(jù)庫。

2.2.1 分布式文件系統(tǒng)

分布式文件系統(tǒng)適合存儲海量的非結(jié)構(gòu)化數(shù)據(jù)，將數(shù)據(jù)存儲在物理上分散的多個存儲節(jié)點上，對這些節(jié)點的資源進行統(tǒng)一管理和分配，并向用戶提供文件系統(tǒng)訪問接口，主要解決本地文件系統(tǒng)在文件大小、文件數(shù)量、打開文件數(shù)等方面的限制問題。

Hadoop是大數(shù)據(jù)的一個解決方案，可以實現(xiàn)大數(shù)據(jù)的存儲、分析和管理[9]。HDFS (Hadoop Distributed File System)是一個分布式文件系統(tǒng)，它是開源項目Hadoop的家族成員。HDFS將大規(guī)模數(shù)據(jù)分割為大小為64兆字節(jié)的數(shù)據(jù)塊，存儲在多個數(shù)據(jù)節(jié)點組成的分布式集群中，當數(shù)據(jù)規(guī)模增加時，只需要在集群中增加更多的數(shù)據(jù)節(jié)點，具有很強的可擴展性;同時每個數(shù)據(jù)塊會在不同的節(jié)點中存儲多個副本，具有高容錯性;由于數(shù)據(jù)是分布存儲的，具有高吞吐量的數(shù)據(jù)訪問能力。

2.2.2 分布式數(shù)據(jù)庫

大數(shù)據(jù)環(huán)境下對數(shù)據(jù)的存儲、管理、查詢和分析需要采用新的技術(shù)，傳統(tǒng)的數(shù)據(jù)庫在數(shù)據(jù)存儲規(guī)模、吞吐量、以及數(shù)據(jù)類型和支撐應用等存在瓶頸。分布式數(shù)據(jù)庫由于具有很好的擴展性和協(xié)同性，在大規(guī)模數(shù)據(jù)存儲和管理中得到廣泛的應用。目前主要有鍵值存儲系統(tǒng)、文檔數(shù)據(jù)庫、圖數(shù)據(jù)庫等。

Hbase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，它不同于一般的有模式的關(guān)系型數(shù)據(jù)庫，Hbase存儲的數(shù)據(jù)表是無模式的，特別適合結(jié)構(gòu)復雜多樣的半結(jié)構(gòu)化數(shù)據(jù)存儲。Hbase利用HDFS作為其文件存儲系統(tǒng)，可利用Map-Reduce技術(shù)來處理Hbase中的海量數(shù)據(jù)。

2.2.3 關(guān)系型數(shù)據(jù)庫系統(tǒng)

智能電網(wǎng)中很大一部分數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，針對一些數(shù)據(jù)和業(yè)務應用，傳統(tǒng)關(guān)系型數(shù)據(jù)庫可能更適合，因此在大數(shù)據(jù)環(huán)境下，傳統(tǒng)關(guān)系型數(shù)據(jù)庫也具有一定的應用。基于傳統(tǒng)數(shù)據(jù)庫如Oracle等構(gòu)建數(shù)據(jù)倉庫，開展智能電網(wǎng)業(yè)務的分析挖掘。

智能電網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復雜、種類繁多，其數(shù)據(jù)存儲需要根據(jù)數(shù)據(jù)的特點選用適合的數(shù)據(jù)存儲方式。數(shù)據(jù)管理也是智能電網(wǎng)大數(shù)據(jù)的重要功能，從整體上對存儲在不同系統(tǒng)上的數(shù)據(jù)進行統(tǒng)一管理，并提供數(shù)據(jù)索引和查詢功能。