2.2 電力大數據技術體系

2.2.4數據存儲管理技術

數據存儲管理是指將大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問。數據存儲管理技術包括分布式存儲技術、NoSQL技術和內存存儲技術。

（1）分布式存儲技術
分布式存儲通過網絡使用每臺機器上的磁盤空間，并將這些分散的存儲資源構成一個虛擬的存儲設備，從而實現數據的分散存儲。典型的如Hadoop平臺中的分布式文件存儲系統（HDFS）。
分布式存儲的技術優勢主要體現在以下四個方面：
1）支持任意超大文件存儲，硬件節點可不斷擴展，實現低成本存儲。
2）對上層應用屏蔽分布式部署結構，并提供統一的文件系統訪問接口。
3）允許硬件故障，數據在不同機器節點實現冗余備份，從而實現高容錯性。
4）數據分散存儲，并提供冗余備份機制，從而提高系統的穩定性和擴展性。

（2） NoSQL技術
NoSQL是非關系型數據存儲的廣義定義。NoSQL數據存儲不需要固定的表結構，通常也不存在連接操作，在大數據存取上具備關系型數據庫無法比擬的性能優勢。
NoSQL的技術優勢主要體現在以下六個方面：
1）數據本身無關聯特性，在架構層面極易擴展。
2）對海量數據擁有極高的讀寫性能。
3）數據模型比較靈活，數據格式可以實現自定義。
4）在不影響性能的情況下，可以實現架構的高可用性。
5）可運用于廉價PC服務器集群上，提高資源利用。
6）數據庫模式單一，靈活自由，適合海量數據分布式處理。

（3）內存存儲技術
內存數據庫，顧名思義就是將數據放在內存中直接操作的數據庫。相對于磁盤，內存的數據讀寫速度要高出幾個數量級.將數據保存在內存中相比從磁盤上訪問能夠極大地提髙應用的性能。內存數據庫拋棄了磁盤數據管理的傳統方式，全部數據都在內存中，重新設計了體系結構，并且在數據緩存、快速算法、并行操作方面也進行了相應的改進，所以數據處理速度比傳統數據庫的數據處理速度要快很多，一般都在10倍以上。
內存數據庫的優勢主要存在以下兩方面：
1）數據加載和讀取速度極快，基本滿足實時性數據的存儲要求，實現對數據的實時響應。
2）具有較高的數據和程序獨立性，數據庫的獨立性有物理獨立性和邏輯獨立性。

書名：電力大數據：能源互聯網時代的電力企業轉型與價值創造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業出版社