2.2 電力大數(shù)據(jù)技術(shù)體系

2.2.3 數(shù)據(jù)集成管理技術(shù)

數(shù)據(jù)集成管理是把不同數(shù)據(jù)源的大數(shù)據(jù) (包括結(jié)構(gòu)化、半結(jié)化和非結(jié)構(gòu)化的數(shù)據(jù) )收集、整理、清洗、轉(zhuǎn)換后，加載到一個新的數(shù)據(jù)源，并對這些數(shù)據(jù)源實行集中管理 ，對外統(tǒng)一提供服務(wù)的大數(shù)據(jù)集成方式。數(shù)據(jù)集成管理技術(shù)包括大數(shù)據(jù)連接器技術(shù)和 SQL-MapRcduce 技術(shù)。

（1 ）大數(shù)據(jù)連接器技術(shù)

大數(shù)據(jù)連接器技術(shù)是用于在傳統(tǒng)關(guān)系數(shù)據(jù)庫和分布式處理系統(tǒng)之問相互傳輸信息，從而實現(xiàn)大數(shù)據(jù)數(shù)據(jù)源的相互轉(zhuǎn)化并為大數(shù)據(jù)分析提供便利的一種數(shù)據(jù)集成管理技術(shù)。
大數(shù)據(jù)連接器技術(shù)的技術(shù)優(yōu)勢主要體現(xiàn)在以下五個方面：
1）將關(guān)系數(shù)據(jù)庫服務(wù)器的壓力轉(zhuǎn)移至分布式處理系統(tǒng)集群，加大數(shù)據(jù)分析處理速度。
2）充分利用分布式處理系統(tǒng)集群進(jìn)行數(shù)據(jù)分析處理，提高系統(tǒng)資源利用率。
3）為大數(shù)據(jù)數(shù)據(jù)源提供統(tǒng)一的轉(zhuǎn)化方式，改進(jìn)開發(fā)和集成效率。
4）海量非結(jié)構(gòu)化的數(shù)據(jù)經(jīng)分布式處理系統(tǒng)處理后形成少量結(jié)構(gòu)化的分析信息并加我至關(guān)系數(shù)據(jù)庫，形成報表和智能分析。
5）技術(shù)成熟度比較高，各大數(shù)據(jù)庫廠商、數(shù)據(jù)倉庫廠商都有相關(guān)的研發(fā)產(chǎn)品。

（2 ）SQI-MapReduce技術(shù)

SQL- MapReduce技術(shù)是指將傳統(tǒng)的關(guān)系數(shù)據(jù)庫處理技術(shù)SQL和并行處理樞架MapReduce集成一起，為兩者提供相互轉(zhuǎn)換方式，從而實現(xiàn)大數(shù)據(jù)源的高效、簡單、快速分析的一種數(shù)據(jù)集成管理技術(shù)。
SQL-MapReduce技術(shù)的技術(shù)優(yōu)勢主要體現(xiàn)在以下五個方面：
1）將傳統(tǒng)的關(guān)系數(shù)據(jù) SQL 分析轉(zhuǎn)化為并行處理的MapReduce任務(wù)，實現(xiàn)數(shù)據(jù)分析的分布式處理 ，提高了數(shù)據(jù)分析速度。
2）轉(zhuǎn)換過程獨立于數(shù)據(jù)庫系統(tǒng)，對原有的數(shù)據(jù)庫系統(tǒng)系統(tǒng)沒有任何影響，具有很大的靈活性。
3）為海量數(shù)據(jù)的分布式處理提供一 種高效的編程模式和方法，提高了開發(fā)效率。
4）數(shù)據(jù)分析師可以直接利用熟悉的 SQL 技術(shù)來分析大規(guī)模海量數(shù)據(jù)，從而提供透明的數(shù)據(jù)分析平臺。
5）支持海量數(shù)據(jù)分析，克服傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫處理數(shù)據(jù)量限制的問題。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時代的電力企業(yè)轉(zhuǎn)型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社