云南電網公司舉辦營銷管理信息系統(tǒng)容災應急演練

2013-12-02 14:25:23 云南電網公司　點擊量：評論 (0)

隨著云南電網業(yè)務的快速發(fā)展，各業(yè)務運作更加依賴于信息系統(tǒng)的穩(wěn)定運行，其結果是一旦發(fā)生大的災害，云南電網公司的IT系統(tǒng)及其所支持的業(yè)務系統(tǒng)將毀于一旦。為避免發(fā)生重大災難發(fā)生時信息系統(tǒng)癱瘓、用戶資料、運營數據的丟失，云南電網公司于2009年8月建成重要信息容災備份系統(tǒng)，2011年11月成功開展容災切換演練，2013年，容災應急演練再度列為云南電網公司度信息系統(tǒng)運維的重要工作計劃。

　　11月22日，由信息部組織，信息中心承辦的云南電網公司營銷管理信息系統(tǒng)容災應急演練正式舉行，來自云南電網公司信息部、市場部、信息中心，昆明供電局，云南云電同方科技有限公司，技術支撐廠商、能訊、遠信公司等近80人參加。真實模擬了云南電網公司營銷管理信息系統(tǒng)在云電科技園生產環(huán)境數據庫、存儲設備不可用，短時間內無法恢復生產環(huán)境，而電力大廈20樓容災環(huán)境運行正常的情況下，公司應急指揮中心討論決定以及時恢復營銷業(yè)務為目標，啟動營銷管理信息系統(tǒng)（云南電網公司營銷3.0系統(tǒng)）容災切換應急預案，成功造就云南電網公司信息系統(tǒng)應急演練的3個“最”。

　　影響范圍最廣

　　云南電網公司營銷管理信息系統(tǒng)是云南電網公司營銷業(yè)務一體化大集中系統(tǒng)，供云南電網公司本部、各地、市、縣供電單位使用。該系統(tǒng)容災于2009年建設完成，整個容災環(huán)境分為生產服務器區(qū)和災備服務器區(qū)，分別位于云電科技園數據中心機房和電力大樓20樓機房，通過EMC存儲級數據復制進行實時數據同步，保證生產環(huán)境和容災環(huán)境數據的一致性。演練能夠驗證該核心業(yè)務系統(tǒng)在發(fā)生重大災難時容災環(huán)境的可靠性以及故障上報制度、應急預案、應急容災組織結構的合理性，為關鍵業(yè)務系統(tǒng)提供風險預防機制和災難恢復措施，在確保數據安全的基礎上提高業(yè)務連續(xù)運行能力，降低企業(yè)運營風險，將業(yè)務損失降低到可接受的程度，提升管理和服務質量，增強企業(yè)競爭力。

　　演練涉及到云南電網公司17個地/市級供電單位，113個縣級供電單位的營銷系統(tǒng)及營銷業(yè)務關聯(lián)模塊的正常使用。營銷系統(tǒng)有3.244萬用戶，再加上由于多個與營銷有關的業(yè)務系統(tǒng)需要通過業(yè)務功能接口、直連數據庫、數據庫鏈接等方式調用、訪問和抽取該系統(tǒng)的業(yè)務數據，因此演練共影響到云南電網公司95598呼叫中心、網上營業(yè)廳、營銷綜合分析、營銷監(jiān)控、銀電互聯(lián)、南網數據中心等10個系統(tǒng)的正常使用。是云南電網信息專業(yè)影響范圍最廣的一次應急演練。

　　考慮到演練期間更改數據庫連接、重啟數據庫等步驟導致數據丟失等問題，演練組提前通知了供電單位演練期間停止對各有關系統(tǒng)的使用。云南電網公司信息部副主任黃文載說道：“營銷管理信息系統(tǒng)是一個重要的信息系統(tǒng)，影響面非常廣，涉及到千家萬戶的客戶用電信息等資料，這些資料一旦丟失會對社會造成很大的影響，因此這次我們協(xié)調了方方面面，通過短信、網頁、電話通知等形式對演練進行了公告。”提前將95598呼叫中心語音服務和電話接聽轉至備用平臺，手工記錄工單，演練完成后再將工單信息以手工錄入系統(tǒng)，將演練停機對95598呼叫中心的業(yè)務影響降至最低；更改了營銷綜合分析、營銷監(jiān)控、南網數據中心系統(tǒng)數據抽取時間；通知銀行和優(yōu)付通等調用銀電互聯(lián)接口，調整對賬時間窗口，避開演練對功能調用的影響；更改營配集成接口和電能量接口的數據庫連接指向，有效降低影響。

　　準備最充分

　　與“不打招呼”的應急演練不同的是，信息系統(tǒng)由于涉及的人員、操作、流程、設備較多，存在一定的風險，需要完備的演練準備。

　　“演練的前期準備是按照項目管理的模式來開展，各組安排都比較到位，定崗、定員、定責，把組織架構建立起來。進行了WBS分解，整個工作從會務策劃到實施過程，誰來負責，有哪些活動都清清楚楚地定下來，準備非常周全，這是值得以后發(fā)揚的一點。”信息中心安全生產部主任周靖談到。演練前精心編制了云南電網公司《營銷管理信息系統(tǒng)應急演練整體方案》、《營銷管理信息系統(tǒng)應急演練技術指導手冊》、《營銷管理信息系統(tǒng)應急演練PPT》，經過公司信息部、市場部、信息中心以及系統(tǒng)運維單位云電同方公司反復校核與審查，使得方案更加周密。

　　按照從低到高的順序，演練將風險系數分為5個級別，開展了風險點預估和風險點管控，最大限度地消除和規(guī)避風險。在演練管理層面，多次討論應急演練方案及流程，細化并優(yōu)化各流程環(huán)節(jié)，避免流程不合理導致演練時間大于預期、演練關鍵人員不在場導致溝通和操作的延誤等問題。在技術層面，編制操作手冊，避免輸入錯誤命令，檢查保證網絡通信質量、服務器運行情況、網絡通信質量，提前添加數據庫配置，檢查測試中間件組件服務器與災備數據庫網絡連通性，做好應用程序備份，提出一系列規(guī)避方法和應急處置方法。演練還采用了自上而下的聯(lián)絡方式，任務信息傳遞方式從上到下由演練指揮組下達至演練實施組、后勤保障組、技術保障組、信息通信組各組組長，由各組組長再下達至具體的實施和保障人員；任務執(zhí)行反饋和異常情況信息反饋從下至上，由實施和保障人員上報至各組組長，各組組長上報至演練指揮組，確保演練的順利進行。

　　持續(xù)時間最長

　　從演練準備、演練實施、到演練結束總結，整個演練過程持續(xù)近7個小時，影響業(yè)務時間近4小時。

　　11月22日晚上20：00，演練隊伍分別在信息中心應急指揮中心、值班室、監(jiān)控室、云南電網公司電力大樓20樓、昆明供電局95598呼叫中心陸續(xù)就位。“下面開始介紹演練議程和工作方案……”21時30分，演練負責人張建文再次對演練內容進行了確認。隨著演練總指揮黃文載一聲令下，演練正式開始。

　　“22時02分容災應急演練正式開始，本次演練預計持續(xù)4小時，影響營銷系統(tǒng)所有用戶，營銷系統(tǒng)接口模塊部分功能（95598系統(tǒng)電子工單錄入及相關查詢、網上營業(yè)廳呼叫中心模塊、綜合分析等系統(tǒng)的數據抽取、銀電互聯(lián)銀行對賬等）。目前操作人員正在進行系統(tǒng)切換前主機、網絡、數據完整性、應用運行情況的最后檢查，預計20分鐘后完成。”這是第1條演練過程實時報送短信，演練對每項操作時間都作了明確記錄，用于和計劃進行對比，尋找差異，制定整改措施。

　　22時13分，系統(tǒng)切換條件檢查完畢，滿足切換條件，切換工作正式開始。工作人員將業(yè)務運行環(huán)境從生產環(huán)境切換至容災環(huán)境，待驗證容災系統(tǒng)的可用性后，再將業(yè)務回切至生產環(huán)境。切換和回切過程對生產環(huán)境數據庫集群、操作系統(tǒng)雙機的啟停、災備環(huán)境數據庫主機操作系統(tǒng)卷組激活、災備環(huán)境數據庫啟停、中間件數據庫連接指向更改等進行了系列操作，11月23日2時11分，營銷管理信息系統(tǒng)容災演練圓滿完成。

　　云南電網公司信息部副主任黃文載在結束時談到：“今天的營銷管理信息系統(tǒng)容災應急演練非常成功，既驗證了我們的容災系統(tǒng)的勝任能力，又檢驗了我們的管理和技術能力。”“這是我參加過做得最好的一次演練，我認為取得的效果和前期大家的準備有關，特別是技術方案很嚴謹。我到現場看到，一個營銷系統(tǒng)的故障恢復牽涉到一、二十個技術人員的工作，我個人感覺到一種震撼。”信息中心總工程師趙凌在總結會上有感而發(fā)：“同時我也感到了壓力，隨著信息中心定位的轉變，信息系統(tǒng)運維工作將轉移到信息中心，信息中心的擔子將會更重。”

　　應急預案、業(yè)務連續(xù)性計劃、信息系統(tǒng)災難恢復計劃的制定與維護是一個長期、綜合的系統(tǒng)工作，下一步，信息中心還將對各個系統(tǒng)的計劃、預案進行不定期的維護、優(yōu)化，并定期進行演練，保證災難發(fā)生時信息系統(tǒng)的真實、可用，保障云南電網公司各業(yè)務的安全、可靠的運作，維護云南電網公司良好的社會形象。（