2.2 電力大數(shù)據(jù)技術(shù)體系

2.2.5高性能計算技術(shù)

高性能計算是指通常使用很多處理器（作為單個機(jī)器的部分）或者某一集群組織中的幾臺計算機(jī)（作為單個計算資源操作）的計算系統(tǒng)和環(huán)境。高性能計算技術(shù)主要包括三個方面，即實(shí)時計算、批量計算和流式計算。

（1）實(shí)時計算
實(shí)時計算是指根據(jù)計算需求從海量數(shù)據(jù)中實(shí)時進(jìn)行排重、排名、匯總等運(yùn)算，并為用戶提供實(shí)時響應(yīng)，主要針對海量數(shù)據(jù)且無法預(yù)算的情況。
實(shí)時計算的技術(shù)優(yōu)勢主要體現(xiàn)在以下四個方面：
1）對海量數(shù)據(jù)進(jìn)行分布式處理并為用戶提供實(shí)時響應(yīng)。
2）將計算過程推遲到應(yīng)用階段進(jìn)行，減輕了系統(tǒng)的計算負(fù)擔(dān)。
3）數(shù)據(jù)加載過程和數(shù)據(jù)計算過程分離，加載過程先于計算過程，提高了計算效率。
4）數(shù)據(jù)加載過程不需要實(shí)時，從某種程度上降低了對數(shù)據(jù)處理的難度。

（2）批量計算
批量計算是指對靜態(tài)海量數(shù)據(jù)的批量處理，即當(dāng)開始計算之前 數(shù)據(jù)已經(jīng)準(zhǔn)備到位，主要用于數(shù)據(jù)挖掘和驗證業(yè)務(wù)模型。
批量計算的技術(shù)優(yōu)勢主要休現(xiàn)在以下四個方面：
1）可以對海量靜態(tài)的數(shù)據(jù)進(jìn)行大規(guī)模分析。
2）數(shù)據(jù)采用批量的方式進(jìn)行處理，極大提升了大規(guī)模數(shù)據(jù)處理的吞吐量。
3）數(shù)據(jù)處理的方式可分為離線和在線兩種方式， 對計算的實(shí)時性要求比較低。
4）在對計算結(jié)果進(jìn)行查看之前數(shù)據(jù)已經(jīng)處理完畢,提高了數(shù)據(jù)查詢的速度。

（3）流式計算
流式計算是指對具有時效性的流式數(shù)據(jù)進(jìn)行的計算，計算結(jié)果在數(shù)據(jù)出現(xiàn)之后立即得出，流式計算需要依賴上游數(shù)據(jù)傳輸?shù)恼_性和實(shí)時性以及下游存儲系統(tǒng)的高吞吐率。
流式計算的技術(shù)優(yōu)勢主要體現(xiàn)在以下三個方面：
1）采用分布式計算方式處理流式數(shù)據(jù)，提高了對海量實(shí)時數(shù)據(jù)的處理能力。
2）數(shù)據(jù)一出現(xiàn)便立刻處理而不是緩存起來進(jìn)行批量處理，提升了對數(shù)據(jù)處理的實(shí)時響應(yīng)。
3）為海量的實(shí)時數(shù)據(jù)提供了一種快速分析和計算的能力。
 

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時代的電力企業(yè)轉(zhuǎn)型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社