0 引言

國網(wǎng)客服中心（以下簡(jiǎn)稱中心）是國家電網(wǎng)公司集中供電服務(wù)業(yè)務(wù)執(zhí)行單位和總部營銷決策的支撐機(jī)構(gòu),負(fù)責(zé)95598服務(wù)的集中建設(shè)與運(yùn)營,服務(wù)地域范圍覆蓋26個(gè)省（直轄市、自治區(qū)）,是世界上服務(wù)人工最多、規(guī)模最大的電力客戶服務(wù)中心,下設(shè)南、北2個(gè)分中心^[1]。中心兼具呼叫中心及電力行業(yè)的屬性,是技術(shù)密集型、知識(shí)密集型客服中心,具有業(yè)務(wù)連續(xù)性要求高、社會(huì)影響大、話務(wù)量高等特點(diǎn),因此,安全可靠的信息系統(tǒng)是中心對(duì)外提供優(yōu)質(zhì)服務(wù)的關(guān)鍵支撐。中心在全國電力行業(yè)首次設(shè)計(jì)了95598一體化服務(wù)平臺(tái)信息系統(tǒng)群結(jié)構(gòu),采用“雙基地、雙平臺(tái)、雙局向、雙鏈路”模式,為保證7×24 h服務(wù)的連續(xù)性奠定基礎(chǔ)。

此外,中心信息系統(tǒng)運(yùn)維以“安調(diào)運(yùn)檢”體系為基礎(chǔ),結(jié)合中心實(shí)際,加大對(duì)座席現(xiàn)場(chǎng)的支撐力度,加強(qiáng)運(yùn)行監(jiān)控及故障恢復(fù)效率。中心信息系統(tǒng)運(yùn)維與國家電網(wǎng)公司系統(tǒng)內(nèi)其他單位面臨同樣的困難^[2-3],一是軟硬件種類繁多、技術(shù)接口繁雜;二是監(jiān)控手段不統(tǒng)一、監(jiān)控工具分散,無法“集中監(jiān)控、集中管理”,影響系統(tǒng)監(jiān)控與處置效率。中心借鑒“微服務(wù)”應(yīng)用拆分、敏捷部署及運(yùn)維集約化理念^[4-5],創(chuàng)新性提出“微運(yùn)維”概念。每一個(gè)“微運(yùn)維”關(guān)注一項(xiàng)個(gè)性化軟件或硬件的自動(dòng)化運(yùn)維,代表著一個(gè)小的運(yùn)維能力。同時(shí),將“微運(yùn)維”與傳統(tǒng)的監(jiān)控資源有機(jī)結(jié)合,打造了運(yùn)維一體化管理平臺(tái),有助于提升運(yùn)維質(zhì)量和運(yùn)維效率^[6-8]。

 1 信息系統(tǒng)運(yùn)維現(xiàn)狀及存在的問題

1.1 信息系統(tǒng)運(yùn)維現(xiàn)狀

95598呼叫平臺(tái)系統(tǒng)承載南方分中心服務(wù)的14家省（市）公司的95598電話業(yè)務(wù),是國家電網(wǎng)公司提供優(yōu)質(zhì)服務(wù)的重要入口。

95598呼叫平臺(tái)系統(tǒng)運(yùn)維工作涵蓋較廣,包括機(jī)房環(huán)境、網(wǎng)絡(luò)安全、主機(jī)存儲(chǔ)、數(shù)據(jù)庫、中間件、呼叫平臺(tái)服務(wù)等。涉及的軟硬件種類繁多、品牌繁雜、數(shù)量龐大且軟硬件之間技術(shù)接口不統(tǒng)一,如數(shù)據(jù)庫有Oracle、MySQL、SQLserver,主機(jī)硬件有小機(jī)、PC、刀片、工控機(jī)、專用服務(wù)器等,平臺(tái)硬件有OXE、SBC,平臺(tái)軟件有軟電話、genesys平臺(tái)軟件、錄音系統(tǒng)、語音分析、報(bào)表集成服務(wù)等。

信息系統(tǒng)運(yùn)維的日常工作是監(jiān)控異常并進(jìn)行快速處置恢復(fù)^[9-11]。目前主要采用傳統(tǒng)成熟的監(jiān)控工具,如通過動(dòng)環(huán)監(jiān)控系統(tǒng)監(jiān)控機(jī)房溫濕度、電量電壓、UPS等信息,通過北塔、hostmonitor監(jiān)控整個(gè)分中心網(wǎng)絡(luò)運(yùn)行狀況,通過中心統(tǒng)一開發(fā)的核心監(jiān)控與預(yù)警系統(tǒng)監(jiān)控分中心各部門話務(wù)和業(yè)務(wù)情況及呼叫平臺(tái)核心組件的運(yùn)行狀態(tài)^[12-14]。信息系統(tǒng)運(yùn)維工作基于以上分散的監(jiān)控工具,缺乏一個(gè)一體化監(jiān)控平臺(tái),進(jìn)行全方面、全覆蓋的“自動(dòng)監(jiān)控、主動(dòng)運(yùn)維”。呼叫平臺(tái)系統(tǒng)個(gè)性化軟硬件較多,技術(shù)接口不統(tǒng)一,無法做到采用統(tǒng)一的技術(shù)規(guī)范實(shí)現(xiàn)所有的系統(tǒng)“一鍵式自動(dòng)運(yùn)維”。此外,因中心業(yè)務(wù)不斷拓展,信息系統(tǒng)開發(fā)建設(shè)速度快也需要不斷開發(fā)出新的運(yùn)維工具^[15-17]。在異常處置方面,主要以人工處置為主,處置效果很大程度上依賴于處理人的專業(yè)技能。

1.2 存在的問題

在目前的運(yùn)維工作中,監(jiān)控處置動(dòng)作不能集約式一體化管理,給運(yùn)維工作帶來很多難題。

1）造成了時(shí)間、人員、設(shè)備等資源的浪費(fèi)。個(gè)別軟硬件因技術(shù)接口不統(tǒng)一,需要獨(dú)立開發(fā)出個(gè)性化的自動(dòng)運(yùn)維工具,造成設(shè)備資源的重復(fù)投入;運(yùn)維工具分散、繁多,可能分散到各個(gè)運(yùn)維專業(yè)組使用,容易造成人員冗余及不合理利用,同時(shí)兼顧多個(gè)監(jiān)控工具也會(huì)造成時(shí)間和精力的浪費(fèi)。

2）增加了系統(tǒng)風(fēng)險(xiǎn)。人工處置會(huì)因人員誤操作導(dǎo)致不可預(yù)估的風(fēng)險(xiǎn),處置效果依賴于某個(gè)運(yùn)維人員的技能,若該人員離職,則會(huì)造成核心技術(shù)與重要經(jīng)驗(yàn)的流失,加劇了系統(tǒng)風(fēng)險(xiǎn)。

 2 集約一體化信息監(jiān)控管理平臺(tái)的構(gòu)建

2.1 “微運(yùn)維”的提出和典型“微運(yùn)維”工具

微服務(wù)架構(gòu)在系統(tǒng)開發(fā)中得到越來越多的關(guān)注,可將一個(gè)大型復(fù)雜的應(yīng)用和服務(wù)分解成更小的、松散耦合的一個(gè)個(gè)微服務(wù),每個(gè)微服務(wù)代表一個(gè)小的業(yè)務(wù)能力,便于軟件應(yīng)用的升級(jí)和擴(kuò)展。將微服務(wù)這種應(yīng)用拆分、敏捷部署的理念引入到信息系統(tǒng)運(yùn)維工作中,提出了“微運(yùn)維”的概念,針對(duì)個(gè)別無法實(shí)現(xiàn)統(tǒng)一監(jiān)控的軟硬件,獨(dú)立開發(fā)個(gè)性化的微運(yùn)維工具,實(shí)現(xiàn)自動(dòng)監(jiān)控、自動(dòng)處置。國網(wǎng)客服中心南方分中心在運(yùn)維過程中,針對(duì)呼叫平臺(tái)重要組件及服務(wù)的監(jiān)控處置開發(fā)了“微運(yùn)維”工具。

2.1.1 Weblogic中間件的自動(dòng)監(jiān)控與處置

Weblogic是基于JavaEE架構(gòu)的中間件,其中部署了95598呼叫平臺(tái)的重要集成服務(wù)。前期Weblogic故障的發(fā)現(xiàn)與處置主要依賴人工完成,Weblogic中間件在宕掉或假死的情況下靠人工手動(dòng)拉起,拉起時(shí)間過長,存在操作不規(guī)范的風(fēng)險(xiǎn),影響業(yè)務(wù)正常運(yùn)營。針對(duì)此問題,南方分中心組織開發(fā)了Weblogic中間件的自動(dòng)監(jiān)控與處置“微運(yùn)維”工具。

圖1 weblogic中間件的自動(dòng)監(jiān)控與處置“微運(yùn)維”工具架構(gòu)Fig.1 Architecture of Weblogic middleware automatic monitoring and "micro-operation" tool

圖2 CTI一體化重啟“微運(yùn)維”工具架構(gòu)Fig.2 Architecture of CTI integrated restarting the 'micro-operation' tool

該工具架構(gòu)如圖1所示,采用Java、shell、linux-OS技術(shù)耦合,包含監(jiān)護(hù)工程、處理工程、記錄工程、審計(jì)工程、配置工程,將監(jiān)護(hù)處理操作在基層耦合,做到維護(hù)管理靈活獨(dú)立,在Weblogic中間件宕掉或假死時(shí)可自動(dòng)檢測(cè),快速拉起。在2014年下半年使用該自動(dòng)化運(yùn)維工具后,Weblogic中間件故障監(jiān)測(cè)判斷平均用時(shí)由使用前平均20 min下降到60 s,平均處理用時(shí)由平均15 min下降到35 s,大大提高了運(yùn)維效率,節(jié)省了時(shí)間與人力資源,降低了系統(tǒng)與業(yè)務(wù)風(fēng)險(xiǎn)。

2.1.2 CTI一體化重啟

計(jì)算機(jī)電話集成（Computer Telecommunication Integration,CTI）服務(wù)能自動(dòng)處理來電中的信令信息,并建立電話連接,是95598呼叫平臺(tái)的重要服務(wù)。CTI服務(wù)運(yùn)維工作一直是困擾南方分中心的難題,CTI服務(wù)的啟動(dòng)、停止有嚴(yán)格的順序要求,且CTI服務(wù)較多,人為操作風(fēng)險(xiǎn)較大。為解決該問題,南方分中心開發(fā)了CTI一體化重啟“微運(yùn)維”工具,架構(gòu)如圖2所示。

這一工具將常態(tài)重復(fù)的工作進(jìn)行自動(dòng)化,由多人操作、交互確認(rèn)變成了一人操作、內(nèi)部自校驗(yàn),降低了時(shí)間與人力成本;把多個(gè)服務(wù)之間邏輯關(guān)系的處理進(jìn)行固化,降低了操作風(fēng)險(xiǎn);避免了業(yè)務(wù)主機(jī)啟停順序紊亂的系統(tǒng)風(fēng)險(xiǎn)。使用CTI一體化重啟工具前后,時(shí)間及人力成本的變化見表1所列。

表1 使用CTI一體化重啟工具前后時(shí)間及人力成本上的變化Tab.1 The time and labor costs change after using CTI integrated restarting tool

2.2 一體化管理平臺(tái)的構(gòu)建

將針對(duì)個(gè)性化軟硬件運(yùn)自動(dòng)維、代表不同運(yùn)維能力的“微運(yùn)維”工具與傳統(tǒng)的監(jiān)控資源結(jié)合,構(gòu)建運(yùn)維一體化管理平臺(tái),實(shí)現(xiàn)了集中監(jiān)控、集中管理,彌補(bǔ)了由于接口規(guī)范不統(tǒng)一帶來的分散式繁雜運(yùn)維,有助于提升運(yùn)維質(zhì)量和運(yùn)維效率。一體化監(jiān)控管理平臺(tái)架構(gòu)如圖3所示,包括技術(shù)支撐、平臺(tái)支撐和功能支撐3個(gè)模塊。

圖3 一體化監(jiān)控管理平臺(tái)架構(gòu)Fig.3 Integrated information monitoring and management platform architecture

1）技術(shù)支撐：一體化管理平臺(tái)包含傳統(tǒng)運(yùn)維工具和“微運(yùn)維”工具2個(gè)模塊。對(duì)于傳統(tǒng)的運(yùn)維監(jiān)控手段,使用成熟的運(yùn)維監(jiān)控平臺(tái)或者傳統(tǒng)技術(shù)開發(fā)實(shí)現(xiàn),通過通用技術(shù)接口納入一體化監(jiān)控管理平臺(tái);對(duì)于“微運(yùn)維”工具,采用與之對(duì)應(yīng)的接口技術(shù),實(shí)現(xiàn)“微運(yùn)維”平臺(tái)/工具的開發(fā),通過專門的技術(shù)接口納入一體化監(jiān)控管理平臺(tái)。

2）平臺(tái)支撐：包含傳統(tǒng)成熟的運(yùn)維工具/平臺(tái)和因技術(shù)接口個(gè)性化、傳統(tǒng)成熟運(yùn)維工具無法統(tǒng)一支撐的“微運(yùn)維”工具/平臺(tái)。隨著業(yè)務(wù)范圍的擴(kuò)大,信息系統(tǒng)不斷開發(fā)建設(shè),支撐對(duì)應(yīng)系統(tǒng)自動(dòng)監(jiān)控運(yùn)維的“微運(yùn)維”工具可基于該一體化監(jiān)控管理平臺(tái)不斷升級(jí)擴(kuò)展。

3）功能支撐：①集中監(jiān)控與告警：一體化監(jiān)控管理平臺(tái)融合了“微運(yùn)維“平臺(tái)/工具與傳統(tǒng)運(yùn)維平臺(tái)/工具,進(jìn)行集中監(jiān)控與告警,實(shí)現(xiàn)單個(gè)或多個(gè)故障的敏捷發(fā)現(xiàn);②集中調(diào)配：一體化監(jiān)控平臺(tái)可快速發(fā)現(xiàn)單個(gè)或集中故障,能夠通過集中調(diào)配平臺(tái)去調(diào)度組織人員、技術(shù)、設(shè)備及時(shí)到位,實(shí)現(xiàn)快速處置;③進(jìn)度管理：通過對(duì)故障以及處置進(jìn)度的管控,實(shí)現(xiàn)進(jìn)程控制、影響控制并督促監(jiān)督處置過程,可對(duì)故障信息傳遞、影響范圍確定、處置進(jìn)度跟蹤進(jìn)行高效管理;④報(bào)表分析：通過故障相關(guān)數(shù)據(jù)、處置相關(guān)信息進(jìn)行多維度的分析（時(shí)間、范圍、人員、效果、風(fēng)險(xiǎn)等）與總結(jié),有助于杜絕故障發(fā)生、提高處置效率。

一體化監(jiān)控管理平臺(tái)的構(gòu)建,實(shí)現(xiàn)了高效管控、敏捷運(yùn)維,較好地解決了軟硬件種類繁多、接口規(guī)范不統(tǒng)一的監(jiān)控難題,且具有可擴(kuò)展性,能夠適應(yīng)不斷上線的、新系統(tǒng)的運(yùn)維工作,大大提高運(yùn)維效率,有力保障業(yè)務(wù)的正常運(yùn)轉(zhuǎn)。

 3 結(jié)語

為滿足不同接口規(guī)范的軟硬件、不斷開發(fā)建設(shè)的系統(tǒng)的監(jiān)控需求,通過借鑒微服務(wù)應(yīng)用拆分、敏捷部署的理念,文中引入了微運(yùn)維的思想,提出了構(gòu)建一體化監(jiān)控管理平臺(tái)的方案,將一個(gè)個(gè)個(gè)性化的微運(yùn)維工具融入到一體化運(yùn)維管理平臺(tái)上,可有效解決運(yùn)維軟硬件數(shù)量龐大、運(yùn)維工具繁多的問題,保證信息系統(tǒng)的安全穩(wěn)定運(yùn)行。