本參數的計算,從ODS_MData中讀取數據,計算基本特征參數^[14],其Map過程為：

1：Record{Phase,Value}轉換為整型;

2：if Math.abs(Value)>max1

then 構造輸出記錄Record{Time, Phase,Value};

3：將記錄輸出至Combiner;

Combine過程為：

Combine repeat

if Record[i]是極值點

then

構造輸出記錄Record{Time,Phase,Value};

將Record{Phase,Value}輸出至Reducer;

until 所有的點都被處理

Reduce過程如下：

1：對極值記錄集合{Time,Phase,Value}按照相位Phase遞增順序排序;

2：repeat

if 相鄰兩點的相位差<max2

then 保留較大的Value;

else 將相位較小的點保存至結果集;

until 所有的點都被處理;

3：輸出結果集至DW_NQF表;

該過程完成的局部放電參數統計,是實現特征分析的第一步。

3.3.2 譜圖的計算

在基本特征參數計算的基礎上,基于DW_NQF表,使用MapReduce實現譜圖計算^[15],其Map過程為：

1：根據相窗寬度wlength,計算Record所屬的相窗id wid= Phase/wlength;

2：構造輸出記錄,并輸出至Reducer;

Reduce過程為：

1：定義變量用于記錄總放電量、平均放電量、放電次數、放電量最大值;

2：repeat

在totalq上累加放電量;

在nums上累加放電次數;

在max上記錄放電量最大值;

until 所有的點都被處理;

3：avgq=totalq/記錄數;

4：構造輸出記錄,并輸出至DW_PT表;

3.4 本地測試

打開TJDriver.java,右擊“Run as->Run Confi- gurations”,在ODPS Config選項卡重選擇正確的ODPS項目。在Arguments選項卡中輸入運行參數,并點擊"Run”執行本地測試。在第一次運行時,Eclipse會從MaxCompute中下載少量的測試數據用于測試。運行完成后可以在Warehouse中看到測試用的輸入數據和產生的結果數據。本地測試運行結果如圖9所示。

圖9 本地測試運行結果Fig.9 Local test results

3.5 打包并上傳資源

在確認本地測試結果正確后即可導出jar包,在Eclipse下執行“File->Export”,選擇導出“JAR File”即可導出至本地。導出jar包如圖10所示。

圖10 導出jar包Fig.10 Exporting jar package

在ODPS cmd下執行添加資源的命令,即可將jar包上傳至MaxCompute,命令如下：

add jar d:/Clouder/jar/TJ.jar;

3.6 在MaxCompute上執行程序

在ODPS cmd下執行jar命令,運行程序。執行read dw_tj命令可查看運行結果。運行結果如圖11所示。

圖11 運行結果Fig.11 The operation result

在大數據開發套件中,通過調度配置,即可實現周期性的程序執行。

 4 結語

電力設備監測已經成為一種必然趨勢,監測數據無論在體量還是處理速度方面,都需要先進的大數據平臺和工具來支撐。本文基于云計算平臺,應用MaxCompute設計實現了電力設備監測數據的高效分區存儲方法和并行化的批量特征分析方法,應用大數據開發套件將分析過程中的多個MapReduce任務組織為工作流,實現了數據加載和分析任務的自動化周期調度,具有一定的借鑒意義。