從技術(shù)上看，大數(shù)據(jù)根植于云計(jì)算，云計(jì)算的數(shù)據(jù)存儲、管理與分析方面的技術(shù)是大數(shù)據(jù)技術(shù)的基礎(chǔ)。利用云計(jì)算強(qiáng)大的計(jì)算能力，可以更加迅速地處理大數(shù)據(jù)，并更方便地提供服務(wù)；通過大數(shù)據(jù)的業(yè)務(wù)需求，可以為云計(jì)算的發(fā)展找到更多更好的實(shí)際應(yīng)用。

　　云計(jì)算使大數(shù)據(jù)應(yīng)用成為可能，但是沒有大數(shù)據(jù)的信息沉淀，云計(jì)算的功能將得不到完全發(fā)揮，所以從整體上看，大數(shù)據(jù)與云計(jì)算是相輔相成的。

　　云計(jì)算和大數(shù)據(jù)的側(cè)重點(diǎn)不同，因此也有較大的差別。大數(shù)據(jù)關(guān)注重心在于數(shù)據(jù)背后的信息沉淀與業(yè)務(wù)分析，因此其推動力量來源于擁有大數(shù)據(jù)的企業(yè)和軟件廠商；云計(jì)算關(guān)注重心在于計(jì)算能力，偏重于技術(shù)解決方案，因此其推動力量來自于計(jì)算資源和存儲資源的生產(chǎn)廠商。

　　云計(jì)算技術(shù)的發(fā)展早于大數(shù)據(jù)技術(shù)的發(fā)展，但是大數(shù)據(jù)的業(yè)務(wù)需求又為云計(jì)算技術(shù)的發(fā)展帶來新的機(jī)遇，一方面促進(jìn)了云計(jì)算技術(shù)向更加貼近用戶需求的方向發(fā)展，另一方面帶來了更高處理速度、更大存儲容量的要求。

　　1.3 智能電網(wǎng)、云計(jì)算、大數(shù)據(jù)的相互關(guān)系

　　云計(jì)算能夠整合智能電網(wǎng)系統(tǒng)內(nèi)部計(jì)算處理和存儲資源，提高電網(wǎng)處理和交互能力，成為電網(wǎng)強(qiáng)有力的技術(shù)組成；大數(shù)據(jù)技術(shù)立足于業(yè)務(wù)服務(wù)需求，根植于云計(jì)算，以云計(jì)算技術(shù)為基礎(chǔ)；智能電網(wǎng)可以抽象的認(rèn)為是大數(shù)據(jù)這個(gè)概念在電力中的應(yīng)用，所以三者是彼此交互的關(guān)系。

　　智能電網(wǎng)、云計(jì)算、大數(shù)據(jù)三者之間的關(guān)系，從更加深層次來講，是電力系統(tǒng)發(fā)展到不同階段的產(chǎn)物，具有代紀(jì)傳承的特點(diǎn)。

　   智能電網(wǎng)是信息技術(shù)、計(jì)算機(jī)技術(shù)、人工智能技術(shù)等在傳統(tǒng)電網(wǎng)上應(yīng)用沉淀的結(jié)果，滿足電網(wǎng)信息化、智能化、清潔化等高層次的運(yùn)營和管理需求，既是對傳統(tǒng)電網(wǎng)的繼承，也是對傳統(tǒng)電網(wǎng)的發(fā)揚(yáng)，所以其發(fā)展必然與新技術(shù)同步。

　　來自于計(jì)算機(jī)和信息技術(shù)領(lǐng)域最前沿的云計(jì)算技術(shù)和大數(shù)據(jù)技術(shù)，正是其發(fā)展階段技術(shù)層面和應(yīng)用層面兩個(gè)具有劃時(shí)代意義的新技術(shù)。云計(jì)算技術(shù)中的分布式存儲技術(shù)和并行計(jì)算技術(shù)，滿足了電網(wǎng)海量數(shù)據(jù)的存儲和計(jì)算需求，因此云計(jì)算技術(shù)推出不久，電力云的概念就提出來，云計(jì)算技術(shù)在電力系統(tǒng)中的應(yīng)用也逐漸呈現(xiàn)出百花齊放的態(tài)勢，推動了智能電網(wǎng)的發(fā)展。

　　大數(shù)據(jù)技術(shù)既是傳統(tǒng)數(shù)據(jù)分析與挖掘技術(shù)的延續(xù)，也是數(shù)據(jù)量級增長到一定階段時(shí)知識挖掘與業(yè)務(wù)應(yīng)用需求的必然產(chǎn)物，因此大數(shù)據(jù)技術(shù)的大部分應(yīng)用都以云計(jì)算的關(guān)鍵技術(shù)或者與云計(jì)算類似的分布式存儲和處理技術(shù)為基礎(chǔ)。電力大數(shù)據(jù)技術(shù)的發(fā)展從某種意義上講，可以看成是云計(jì)算技術(shù)在智能電網(wǎng)中，高級業(yè)務(wù)需求的實(shí)現(xiàn)過程。

　　2 電力大數(shù)據(jù)平臺的總體架構(gòu)

　　Apache基金會開源技術(shù)通用的大數(shù)據(jù)平臺整體架構(gòu)具有較好的通用性，適用于電力企業(yè)大數(shù)據(jù)的規(guī)劃，其主要思想是利用基于Hadoop文件系統(tǒng)(Hadoopdistributed file system，HDFS)的分布式文件處理系統(tǒng)作為大數(shù)據(jù)的存儲框架，利用基于MapReduce的分布式計(jì)算技術(shù)作為大數(shù)據(jù)的處理框架。

　　以分布式文件處理技術(shù)為基礎(chǔ)，使PB、ZB級的數(shù)據(jù)存儲成為可能；以分布式計(jì)算技術(shù)為基礎(chǔ)，使得PB、ZB級數(shù)據(jù)的查詢分析成為可能。另外該框架中還包含商業(yè)智能應(yīng)用、傳統(tǒng)的數(shù)據(jù)倉庫、大數(shù)據(jù)訪問框架、大數(shù)據(jù)調(diào)度框架、網(wǎng)絡(luò)層、操作系統(tǒng)、服務(wù)器、備份和恢復(fù)、數(shù)據(jù)管理等模塊。

　　大數(shù)據(jù)存儲框架和大數(shù)據(jù)處理框架通常構(gòu)建在通用的服務(wù)器、操作系統(tǒng)或者虛擬機(jī)上，使得該架構(gòu)所需的硬件具有低成本和高擴(kuò)展性的特點(diǎn)，標(biāo)準(zhǔn)的普通服務(wù)器或者PC機(jī)即可成為基于該架構(gòu)的終端構(gòu)成單元。

　　大數(shù)據(jù)存儲框架和大數(shù)據(jù)處理框架之上是通過網(wǎng)絡(luò)層連接的大數(shù)據(jù)訪問框架，該訪問框架包含并行計(jì)算機(jī)編程語言Pig、數(shù)據(jù)倉庫工具Hive、開源數(shù)據(jù)傳遞工具Sqoop 等子模塊。

　　大數(shù)據(jù)調(diào)度框架包含基于列存儲的開源非關(guān)系型數(shù)據(jù)庫Hbase、數(shù)據(jù)序列化格式與傳輸工具Avro、日志收集系統(tǒng)Flume、分布式鎖設(shè)施ZooKeeper等模塊。

　　大數(shù)據(jù)調(diào)度框架實(shí)現(xiàn)了對大數(shù)據(jù)的組織與調(diào)度，為數(shù)據(jù)分析提供了必要條件。在大數(shù)據(jù)調(diào)度框架之上是企業(yè)級商業(yè)智能應(yīng)用系統(tǒng)，可以開展查詢、分析、統(tǒng)計(jì)、報(bào)表等高級應(yīng)用。大數(shù)據(jù)的管理、安全和備份恢復(fù)框架幫助進(jìn)行大數(shù)據(jù)的治理和保護(hù)。

　　該框架幾乎涵蓋了大數(shù)據(jù)技術(shù)的所有環(huán)節(jié)，值得指出的是，通過該訪問框架不僅可以實(shí)現(xiàn)對分布式文件存儲系統(tǒng)的訪問，而且通過大數(shù)據(jù)連接器和開源數(shù)據(jù)傳遞工具Sqoop可以實(shí)現(xiàn)對傳統(tǒng)數(shù)據(jù)倉庫的訪問。

　　大數(shù)據(jù)的處理流程可以定義為在合適工具的輔助下，對廣泛異構(gòu)的數(shù)據(jù)源進(jìn)行抽取和集成，按照統(tǒng)一的標(biāo)準(zhǔn)對結(jié)果進(jìn)行存儲，利用恰當(dāng)?shù)臄?shù)據(jù)分析技術(shù)對存儲的數(shù)據(jù)進(jìn)行分析，達(dá)到從中提取出有價(jià)值的知識的目的，并用合適的方式將結(jié)果展現(xiàn)給終端用戶。

　　對電力企業(yè)來講，電力大數(shù)據(jù)的基本處理流程與傳統(tǒng)數(shù)據(jù)處理流程并無太大差異，主要區(qū)別在于：電力大數(shù)據(jù)需要處理大量、非結(jié)構(gòu)的數(shù)據(jù)，所以在各個(gè)環(huán)節(jié)都可以采用MapReduce等方式進(jìn)行并行處理。

　　電力系統(tǒng)是一種高維非線性的復(fù)雜系統(tǒng)，其內(nèi)部的數(shù)據(jù)流包含電力流、信息流、業(yè)務(wù)流、故障流、氣象流等不同的數(shù)據(jù)流向。

　　對這些電力系統(tǒng)的子信息源而言，一方面可以單獨(dú)應(yīng)用大數(shù)據(jù)技術(shù)，提升其產(chǎn)業(yè)價(jià)值，例如電力設(shè)備在線監(jiān)測系統(tǒng)本身就是一個(gè)大數(shù)據(jù)系統(tǒng)，另一方面可以融合不同的子信息源，在更高的層面上構(gòu)件大數(shù)據(jù)平臺，例如融合電能計(jì)量系統(tǒng)、SCADA系統(tǒng)、MIS系統(tǒng)、負(fù)荷控制系統(tǒng)，可以構(gòu)建基于大數(shù)據(jù)平臺的網(wǎng)損分析系統(tǒng)，實(shí)現(xiàn)網(wǎng)損的自動統(tǒng)計(jì)與分析。

　　基于該網(wǎng)損分析大數(shù)據(jù)平臺，還可開展基于自動網(wǎng)損統(tǒng)計(jì)的用戶竊電行為挖掘，實(shí)現(xiàn)更深層次的應(yīng)用。

　　3 電力大數(shù)據(jù)關(guān)鍵技術(shù)

　　3.1 電力大數(shù)據(jù)的集成管理技術(shù)

　　電力企業(yè)數(shù)據(jù)集成管理技術(shù)是合并來自2個(gè)或者多個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)，創(chuàng)建一個(gè)具有更多功能的企業(yè)應(yīng)用的過程。從集成的角度來說，就是把不同來源、格式、特點(diǎn)、性質(zhì)的數(shù)據(jù)在邏輯上或者存儲介質(zhì)上有機(jī)地集中，為系統(tǒng)存儲一系列面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，從而為系統(tǒng)提供全面的數(shù)據(jù)共享。電力企業(yè)集成管理技術(shù)就是為解決電力企業(yè)內(nèi)部各系統(tǒng)間的數(shù)據(jù)冗余和信息孤島而產(chǎn)生的。

　　電力大數(shù)據(jù)的數(shù)據(jù)集成管理技術(shù)，包含關(guān)系型和非關(guān)系型數(shù)據(jù)庫技術(shù)、數(shù)據(jù)融合和集成技術(shù)、數(shù)據(jù)抽取技術(shù)、過濾技術(shù)和數(shù)據(jù)清洗等。大數(shù)據(jù)的一個(gè)重要特點(diǎn)就是多樣性，這就意味著數(shù)據(jù)來源極其廣泛，數(shù)據(jù)類型極為繁雜，這種復(fù)雜的數(shù)據(jù)環(huán)境給大數(shù)據(jù)的處理帶來極大的挑戰(zhàn)，要想處理大數(shù)據(jù)，首先必須對數(shù)據(jù)源的數(shù)據(jù)進(jìn)行抽取和集成，從中提取出實(shí)體和關(guān)系，經(jīng)過關(guān)聯(lián)和聚合之后采用統(tǒng)一的結(jié)構(gòu)來存儲這些數(shù)據(jù)，在數(shù)據(jù)集成和提取時(shí)需要對數(shù)據(jù)進(jìn)行清洗，保證數(shù)據(jù)質(zhì)量及可靠性。

　　大數(shù)據(jù)存儲管理中一個(gè)重要的技術(shù)是NoSQL數(shù)據(jù)庫技術(shù)，它采用分布式數(shù)據(jù)存儲方式，去掉了關(guān)系型數(shù)據(jù)庫的關(guān)系型特性，數(shù)據(jù)存儲被簡化且更加靈活，具有良好的可擴(kuò)展性，解決了海量數(shù)據(jù)的存儲難題。有代表性的NoSQL 數(shù)據(jù)庫技術(shù)有Google的BigTable和Amazon的Dynamo等。

　　3.2 電力大數(shù)據(jù)的數(shù)據(jù)分析技術(shù)

　　大數(shù)據(jù)技術(shù)的根本驅(qū)動力是將信號轉(zhuǎn)化為數(shù)據(jù)，將數(shù)據(jù)分析為信息，將信息提煉為知識，以知識促成決策和行動。借助電力大數(shù)據(jù)的分析技術(shù)可以從電力系統(tǒng)的海量數(shù)據(jù)中找出潛在的模態(tài)與規(guī)律，為決策人員提供決策支持。

　　麥肯錫認(rèn)為可用于大數(shù)據(jù)分析的關(guān)鍵技術(shù)源于統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)等學(xué)科，包含關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識別、神經(jīng)網(wǎng)絡(luò)、時(shí)間序列預(yù)測模型、遺傳算法等多種不同的方法。

　　大數(shù)據(jù)研究不同于傳統(tǒng)的邏輯推理研究，是對巨大數(shù)量的數(shù)據(jù)做統(tǒng)計(jì)性的搜索、分類、比較、聚類等的分析和歸納，因此繼承了統(tǒng)計(jì)科學(xué)的一些特點(diǎn)，如統(tǒng)計(jì)學(xué)關(guān)注的數(shù)據(jù)相關(guān)性或稱關(guān)聯(lián)性，所謂“相關(guān)性”是指2個(gè)或2個(gè)以上變量的取值之間存在某種規(guī)律性[7]。“相關(guān)分析”的目的是找出數(shù)據(jù)集里隱藏的關(guān)系網(wǎng)，一般用支持度、可信度、興趣度等參數(shù)反映相關(guān)性。

　　牛津大學(xué)網(wǎng)絡(luò)學(xué)院教授維克多在他的著作《大數(shù)據(jù)時(shí)代》中指出：在大數(shù)據(jù)時(shí)代，相關(guān)關(guān)系分析法將大放異彩，通過找到一個(gè)良好現(xiàn)象的關(guān)聯(lián)物，相關(guān)關(guān)系分析可以捕獲現(xiàn)在和預(yù)測未來。大數(shù)據(jù)相關(guān)關(guān)系分析法，建立在海量樣本的基礎(chǔ)上，不采用隨機(jī)分析法這樣的捷徑，而采用分析所有數(shù)據(jù)的方法；大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效，其結(jié)果更快、更準(zhǔn)確而且不易受到干擾，因此他指出建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心。

　　大數(shù)據(jù)這種不注重因果關(guān)系側(cè)重于相關(guān)關(guān)系的分析方法，帶來了科學(xué)研究思維方式的重大轉(zhuǎn)變，已故圖靈獎(jiǎng)得主吉姆&dot；格雷提出的數(shù)據(jù)密集型科研“第四范式”，將大數(shù)據(jù)科研從前3 種范式(理論科學(xué)、計(jì)算科學(xué)、實(shí)驗(yàn)科學(xué))中分離出來，單獨(dú)作為一種科研范式，正是因?yàn)槠溲芯糠绞讲煌诨跀?shù)學(xué)模型的傳統(tǒng)研究方式。