《網絡安全體系設計》第一彈：《安全大數據平臺架構設計參考》

2015-12-10 22:10:42 大云網　點擊量：評論 (0)

安全牛于11月24日首次公開發布了《網絡安全體系設計方法論》，旨在給企業或機構提供一個最佳實踐的參考，以幫助企業真正提升對網絡安全工作的認識，并在安全建設和運營中不斷成長。這個方法論只是一個安全總體建

安全牛于11月24日首次公開發布了《網絡安全體系設計方法論》，旨在給企業或機構提供一個最佳實踐的參考，以幫助企業真正提升對網絡安全工作的認識，并在安全建設和運營中不斷成長。

這個方法論只是一個安全總體建設的框架，需要不斷的深入、補充和完善。而安全大數據平臺在未來幾年是企業安全能力建設的核心，也是第一步。《網絡安全體系設計方法論》中也提到，數據是安全能力的核心。企業首先就要掌握內外部的安全數據和威脅情報，再通過企業安全人員的能力提升，才能逐步提升整體的安全能力。因此，安全牛首先選擇了“安全大數據”這一技術平臺的架構進行了梳理和深入，并于今日發布研究成果。

《安全大數據平臺架構設計參考》

當前網絡與信息安全領域，正在面臨多種挑戰。一方面，企業和組織安全體系架構日趨復雜，各種類型的安全數據越來越多，隨著內控與合規的深入，傳統的分析能力明顯力不從心，越來越需要分析更多的安全信息、并且要更加快速的做出判定和響應。另一方面，新型威脅的興起，高級可持續攻擊要求有長時間的數據才能分析入侵行為和評估遭受的損失。傳統的SIEM很難處理多樣化的非結構數據，并且傳統的應用/數據庫架構局限了系統的性能，其能存儲的歷史數據時長、存儲事件的匯總度、查詢分析的速度均受到極大的限制。信息安全也面臨大數據帶來的挑戰。

我們需要更深層次的事件關聯處理、分析和展現，而當前分布式計算，存儲和通信，內存計算，智能分析等技術已經逐步成熟應用，安全數據分析需要使用這些新技術在事件關聯、處理和展現能力上進行提升。

大數據安全分析將包括以下幾個應用領域：

安全事件管理和安全管理平臺；

APT高級持續威脅檢測，結合全包捕獲技術；

0day惡意代碼分析，結合沙箱技術；

網絡取證分析；

大規模用戶行為分析，結合機器學習技術；

安全情報服務；

業務風險安全分析等。

目前，基于Hadoop生態圈的大數據平臺已經被業界廣泛使用,部署規模從幾十臺，到幾萬臺,可以存儲和分析PB級別數據，從網頁日志分析,搜索引擎，視頻和語音檢索都需要操作大量數據資源。而這些數據全部來由Hadoop平臺來運算。Hadoop生態圈也在不斷完善，能夠同時實現并行計算、高速計算、流式計算等計算框架。

安全牛整合了業內資深大數據專家的意見，向大家推薦一個基于Hadoop的安全大數據平臺架構，歡迎業界同仁和企業客戶與我們共同探討。近期還將邀請這方面的專家與大家進行更深入的講座和交流。

安全大數據平臺架構

圖 1

圖 2

大數據平臺總體概述

此平臺集數據采集、數據質量管理、數據存儲與分析、集群監控、數據同步、數據展現、數據安全管理等于一身。在保證數據安全的前提下，實現從數據接收到存儲維護再到展現的數據管理功能。此平臺能夠對海量數據（包括結構化數據、半結構化數據、非結構化數據）進行存儲、維護挖掘等工作。使用目前最前沿的數據存數、分析、管理技術，以此為基礎針對數據分析的實時性，分為在線數據分析和離線數據分析。

在線數據分析：往往要求系統對新數據進行實時分析、實時展現，從而達到不影響用戶體驗的目的。

離線數據分析：對大多數反饋時間要求不高的應用，比如離線統計分析、機器學習等，應采用離線分析的方式。

具備以下特性：

先進的技術架構，基于Hadoop的先進分布式計算及存儲框架；

先進的多層架構，系統維護簡單；

縱向、橫向擴展能力出眾，為未來BI發展提供可能；

能做到5分鐘之內系統擴容，支撐更多終端。

數據采集

數據采集過程中分為三個部分：第一部分收據接收、第二部分數據清洗校驗和第三部分數據寫入（寫入大數據平臺）。每個部分全部支持跨平臺（多種開發語言）、并行化，能夠使數據快速準確的寫入到大數據平臺中。

數據接收：能夠接收來自各種設備的所有類型的數據。

數據清洗：實現并行化數據的校驗，簡單處理等。

數據寫入：校驗好的數據通過數據寫入程序寫入大數據平臺。

數據質量管理

數據質量管理實現探查接收到的數據發現和評估數據的內容，根據企業的數據質量規則，將對數據進行質量檢測。

分布式存儲與分析

A：大數據平臺使用分布式文件系統（HDFS）作為底層存儲。特點如下：

1. 支持多數據結構的存儲（結構化數據、半結構化數據、非結構化數據）；

2. 存儲空間無限大；

3. 擴容簡易；

4. 自動化數據維護；

5. 支持大文件存儲；

6. 容錯性強。

B：MapReduce并行計算框架，對海量數據進行分析計算。特點如下：

1. 移動計算（程序）到數據端，減少網絡使用；

2. 能夠快速并行的對海量數據進行分析計算；

3. 支持多種開發語言，程序編寫簡單。

C：Spark內存計算框架，對海量數據進行快快速計算。特點如下：

1. 支持并行計算；

2. 與MapReduce并行計算框架相比內存計算框架整合了內存計算的基元，計算速度更快。

D：Storm流數據處理框架，實現實時性數據處理。特點如下：

1. 簡單編程；

2. 多語言支持；

3. 支持水平擴展；

4. 容錯性強。

E：Hive數據倉庫，存儲結構化數據。

依賴于分布式存儲和分布式計算框架。主要功能為將HQL（類SQL）轉換為并行計算框架能夠識別的程序。

F：Hbase分布式數據庫，主要以表格的形式存儲數據，存儲數據依賴于分布式存儲。特點如下：

1. 實時相應讀取請求；

2. 數據表的行、列可以無限擴展；

3. 數據自動維護。

G：Elastic Search搜索，基于Lucene的搜索服務器。

它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口，可達到實時搜索的能力。

集群監控

集群監控管理由Ambari、Ganglia、Nagios組成。以實現對集群的安裝部署、管理監控等功能。

Ganglia 主要對集群的資源進行監控管理。包括CPU 資源、內存資源、網絡資源。監控資源使用百分比，高峰期等，并將此信息繪制成直觀、易于理解的統計圖。

Nagios 對于集群的安全、資源使用值進行監控，在發生問題的情況下向有關的管理人員發送郵件給予提示。

Ambari 提供界面化的方式實現集群安裝部署、管理維護、配置文件修改、集群擴容等，同時與Ganglia、Nagios協同工作，實現對整個集群的監控管理。作為大數據平臺的核心控制系統，對大數據平臺的各個環節進行控制，且對運行過程中的各個組件的關系進行控制，同時對各個環節進行監控，通過監控異常報警來提高系統的穩定性和異常響應速度。

數據展現

數據展現，實現將大數據平臺存儲的部分數據按著業務需求進行展示。

數據讀取，可實現根據業務需求對目標數據進行讀取，讀取后傳遞給數據展現模塊。

數據展現，或得到數據后可根據角色的不同展示不同的數據。

以上數據讀取和數據展現過程采用并行跨平臺化的處理方式實現。

數據安全

數據安全從最初的數據接入到最終的數據展現的安全問題。

中間包括數據源系統、數據收集、消息系統、實時處理、存儲、數據庫等各個模塊的數據安全以及整條線的安全。

工作流調度

工作流調度系統，主要實現對于數據接入、數據預分析、存儲、挖掘的各個環節進行可控的管理調度。

數據收集

數據采集