本書在介紹大數據背景以及物聯網環境中數據基本特征的基礎上,詳細介紹了海量數據存儲的相關知識,內容包括:數據存儲基本原理、容錯磁盤陣列(RAID)技術、網絡存儲技術、分布式文件系統、海量存儲系統、存儲優化技術、存儲技術在物聯網中的應用,以及新型存儲芯片技術和未來存儲技術的發展方向。
在物聯網技術不斷發展、應用迅速推廣的時代,以無線傳感網為代表的數據源不斷生產海量數據,像滾滾洪流涌向數據中心,數據存儲正面臨嚴峻挑戰。大數據時代,各行各業的數據量急劇增加,在分析處理過程中需要進行暫時或長久的數據存儲,傳統的數據存儲技術在容量、速度、功耗、可靠性等方面均難以勝任。為應對挑戰,亟待普及與數據存儲相關的基礎知識,提高數據存儲應用和管理的水平,也需要深入研究數據存儲的體系結構、管理與優化等提高存儲效率的相關技術,同時需要探索基于全新原理的、性能更加優越的存儲新技術。本書旨在普及數據存儲知識,開闊視野,以應對當前和未來面臨的存儲挑戰。
技術發展的推動和應用需求的牽引使得數據存儲技術日新月異。本書內容力求覆蓋存儲技術的各個方面,從數據存儲基本原理到存儲系統的維護和管理,從數據存儲發展歷史到最新技術進展。通過學習本書,你可以掌握或了解:
數據是什么?數據和信息有什么區別?數據如何存儲?存儲器是怎樣工作的?存儲設備是如何發展的?RAID的基本概念、級別和發展。
網絡存儲的發展,DAS、NAS、SAN、iSCSI、云存儲的工作原理。
海量存儲的體系結構和管理方法,體系結構如何適應存儲器的變化?存儲管理如何走向自動化?虛擬存儲和軟件定義存儲有何區別?數據的備份與恢復,以及重復數據的刪除。
物聯網中的數據有何特征?如何有效管理?如何可靠存儲?古老的磁盤還充滿生機嗎?新型的非易失存儲芯片進展如何?FRAM、RRAM、PRAM、STT-MRAM的原理、現狀、前景如何?感謝上海交通大學傅育熙教授、西安交通大學桂小林教授、武漢大學黃傳河教授、上海交通大學蔣建偉教授、華中科技大學秦磊華教授、上海交通大學王東教授、南開大學吳功宜教授、四川大學朱敏教授,在與他們的交流中,我學到了很多知識,開闊了視野,受益匪淺。特別感謝機械工業出版社華章公司溫莉芳副總經理的指導和關心,本書是在溫老師的鼓勵下完成的。特別感謝機械工業出版社華章公司教材部朱劼編輯,感謝她不斷的鼓勵和極大的耐心及寬容。特別感謝負責本書的佘潔編輯和曲熠編輯,她們極其認真、細致的審閱和極具專業水平的修改建議使本書增色許多。
海量數據存儲技術的研究與應用需要多學科綜合考慮,涉及材料、物理、計算機科學與技術、可靠性工程、系統科學、管理科學等,因此,存儲器件與部件的研究、存儲系統的方案設計、軟硬件安裝調試、日常應用和維護管理等工程都極具挑戰性。海量數據存儲的堡壘,有待我們探索和攻克!方糧
前言
教學建議
第1章 海量數據存儲的基本概念 /1
1.1 數據與數據存儲 /1
1.1.1 數據的基本概念 /1
1.1.2 數據存儲的基本概念 /3
1.2 物聯網與大數據時代面臨的機遇和挑戰 /4
1.3 海量數據與海量數據存儲 /5
1.3.1 海量數據的基本概念 /5
1.3.2 海量數據的存儲 /6
1.4 本章小結與擴展閱讀 /7
思考題 /7
參考文獻 /7
第2章 數據存儲的基本原理 /8
2.1 數據存儲的實現 /8
2.1.1 存儲介質的不同狀態 /8
2.1.2 存儲介質的狀態感知 /10
2.1.3 存儲介質的狀態轉換 /11
2.2 數據的寫入與讀出技術 /11
2.3 數據存儲設備的發展歷史與分類 /12
2.3.1 數據存儲設備的發展歷史 /12
2.3.2 數據存儲設備的分類 /17
2.4 磁盤存儲器 /18
2.4.1 磁盤存儲器的基本結構 /18
2.4.2 磁盤存儲器的工作原理 /19
2.4.3 磁盤存儲器的性能指標 /20
2.4.4 磁盤存儲器的發展趨勢 /21
2.5 光盤存儲器 /21
2.5.1 光盤存儲器的發展過程 /22
2.5.2 光盤存儲器的基本原理 /24
2.5.3 光盤存儲器的發展趨勢 /28
2.6 數據存儲系統 /30
2.6.1 數據存儲系統的基本概念 /30
2.6.2 Cache的工作原理與替換策略 /30
2.6.3 虛擬存儲器 /36
2.7 存儲系統實驗 /37
2.7.1 實驗一:虛擬磁盤(RamDisk) /37
2.7.2 實驗二:文件系統與目錄結構 /38
2.8 本章小結與擴展閱讀 /40
思考題 /40
參考文獻 /40
第3章 容錯磁盤陣列(RAID)的技術和應用 /42
3.1 RAID的工作原理 /42
3.1.1 磁盤陣列的基本概念 /42
3.1.2 磁盤陣列的特性 /44
3.1.3 磁盤陣列的若干專用術語 /45
3.2 RAID的分級與結構 /46
3.2.1 RAID0 /46
3.2.2 RAID1 /47
3.2.3 RAID2 /48
3.2.4 RAID3 /48
3.2.5 RAID4 /49
3.2.6 RAID5 /49
3.2.7 RAID6 /50
3.2.8 RAID7 /50
3.2.9 RAID0 + 1 /51
3.2.10 Matrix RAID /51
3.2.11 JBOD和NRAID /52
3.2.12 NV RAID /54
3.3 RAID的實現技術 /54
3.3.1 概述 /54
3.3.2 軟件RAID的實現技術 /55
3.3.3 硬件RAID的實現技術 /62
3.4 RAID的性能指標與選購要點 /69
3.4.1 RAID的性能指標 /69
3.4.2 影響RAID性能的因素 /70
3.4.3 磁盤陣列控制器模式對比 /71
3.4.4 RAID的選購要點 /71
3.5 本章小結與擴展閱讀 /73
思考題 /73
參考文獻 /74
第4章 網絡存儲技術 /75
4.1 概述 /75
4.1.1 網絡存儲的分類 /75
4.1.2 網絡存儲的發展趨勢 /76
4.2 DAS /77
4.3 NAS /80
4.3.1 NAS的主要特點 /80
4.3.2 NAS的基本結構 /81
4.3.3 NAS的工作原理 /81
4.3.4 NAS的應用 /83
4.3.5 NAS與DAS的比較 /86
4.3.6 NAS的選購要點 /88
4.4 SAN /90
4.4.1 SAN技術的產生 /90
4.4.2 SAN的結構與工作原理 /92
4.4.3 SAN的應用 /95
4.4.4 NAS與SAN的比較 /101
4.4.5 融合NAS的SAN的發展趨勢 /102
4.5 iSCSI /104
4.5.1 iSCSI簡介 /104
4.5.2 iSCSI協議及實現 /105
4.5.3 iSCSI的性能 /108
4.5.4 iSCSI的安全性問題 /109
4.5.5 iSCSI的可用性問題 /109
4.5.6 基于iSCSI的存儲系統 /111
4.5.7 iSCSI的應用 /112
4.5.8 iSCSI磁盤陣列產品選購要點 /113
4.5.9 iSCSI的發展趨勢 /114
4.6 云存儲技術 /115
4.6.1 概述 /116
4.6.2 云存儲的模型與應用 /117
4.6.3 云存儲的分類和管理工具 /121
4.6.4 基于云存儲技術實現在線備份的安全 /124
4.6.5 基于云的災難恢復功能 /126
4.7 本章小結與擴展閱讀 /127
思考題 /127
參考文獻 /127
第5章 海量存儲系統的體系結構與管理 /128
5.1 海量存儲系統的體系結構 /128
5.1.1 多級存儲層次的基本概念 /128
5.1.2 多級存儲層次的性能分析 /130
5.2 分布式文件系統 /131
5.2.1 分布式文件系統的基本概念 /131
5.2.2 分布式文件系統的關鍵技術 /135
5.2.3 Ceph:一個Linux PB級分布式文件系統 /136
5.3 Hadoop及數據分布式管理 /138
5.3.1 Hadoop的基本概念 /138
5.3.2 Hadoop的實現 /139
5.3.3 Hadoop的應用 /140
5.4 海量傳感數據管理系統的設計 /141
5.4.1 海量傳感數據管理系統的設計要求 /141
5.4.2 海量傳感數據管理系統的總體結構 /142
5.4.3 HBase數據庫設計 /142
5.4.4 傳感數據存儲管理功能 /142
5.4.5 傳感數據查看功能 /143
5.5 適應新型存儲介質的存儲體系結構 /143
5.5.1 存儲體系結構的變化 /143
5.5.2 面向新型存儲介質的存儲體系結構 /146
5.6 本章小結與擴展閱讀 /147
思考題 /148
參考文獻 /148
第6章 存儲管理自動化與優化技術 /149
6.1 存儲管理的自動化與標準化 /149
6.1.1 為什么需要存儲管理自動化 /149
6.1.2 哪些存儲管理工作可以自動化 /150
6.1.3 存儲管理自動化的實現 /151
6.1.4 存儲管理的標準化 /152
6.1.5 SMI-S的主要技術特性及應用 /153
6.2 虛擬存儲技術 /155
6.2.1 虛擬存儲的特點 /155
6.2.2 存儲虛擬化的關鍵技術 /156
6.2.3 虛擬存儲的實現模式 /156
6.2.4 存儲虛擬化的應對措施 /158
6.3 軟件定義存儲 /159
6.3.1 軟件定義存儲的基本概念 /159
6.3.2 軟件定義存儲的體系結構 /160
6.3.3 軟件定義存儲的理念對存儲體系設計的影響 /161
6.3.4 軟件定義存儲實施過程需要考慮的問題 /162
6.3.5 軟件定義存儲的發展趨勢 /163
6.4 數據備份與恢復 /163
6.4.1 數據備份與恢復的必要性 /163
6.4.2 數據備份與恢復的基本概念 /164
6.4.3 容災與災難恢復 /166
6.4.4 連續數據保護技術 /168
6.4.5 個人備份工具CrashPlan /172
6.5 重復數據刪除 /176
6.5.1 重復數據刪除的基本概念 /176
6.5.2 重復數據刪除的基本方法 /177
6.5.3 重復數據刪除的關鍵技術 /178
6.5.4 源端重復數據刪除的利與弊 /179
6.5.5 重復數據刪除解決方案實例 /180
6.6 本章小結與擴展閱讀 /181
思考題 /182
參考文獻 /182
第7章 存儲技術在物聯網中的應用 /183
7.1 物聯網數據的特征與存儲需求 /183
7.1.1 物聯網數據的特征 /184
7.1.2 物聯網數據的存儲需求 /185
7.1.3 物聯網數據存儲系統的評價指標 /185
7.2 物聯網數據存儲模式及實現技術 /186
7.2.1 物聯網數據存儲模式分類 /186
7.2.2 物聯網典型的存儲實現技術 /186
7.2.3 物聯網存儲模式的比較分析 /189
7.2.4 物聯網數據存儲技術的發展趨勢 /190
7.3 物聯網數據存儲的高效解決方案 /190
7.3.1 物聯網數據存儲面臨的挑戰 /191
7.3.2 物聯網數據存儲的研究基礎 /191
7.3.3 物聯網數據存儲的體系結構 /192
7.3.4 物聯網數據存儲的實現方法 /193
7.3.5 實例研究和討論 /196
7.4 物聯網數據中心設計的關鍵技術 /198
7.4.1 物聯網數據中心面臨的挑戰 /199
7.4.2 物聯網數據中心的總體結構 /200
7.4.3 物聯網數據中心的應用 /203
7.5 TinyOS中的數據存儲 /205
7.5.1 TinyOS簡介 /205
7.5.2 卷 /206
7.5.3 存儲配置數據 /206
7.5.4 存儲日志數據 /210
7.5.5 存儲大數據塊 /212
7.6 無線傳感器網絡中的容錯數據存儲技術 /212
7.6.1 概述 /213
7.6.2 WSN容錯存儲的相關研究進展 /213
7.6.3 設計WSN容錯存儲方案應考慮的因素 /214
7.6.4 備份與恢復機制 /216
7.6.5 性能評價 /218
7.7 本章小結與擴展閱讀 /220
思考題 /221
參考文獻 /221
第8章 新型存儲技術及發展趨勢 /222
8.1 存儲介質 /222
8.1.1 磁存儲介質 /222
8.1.2 光存儲介質 /227
8.1.3 半導體存儲器 /229
8.1.4 DNA存儲 /230
8.1.5 基于納米顆粒的存儲技術 /232
8.2 固態硬盤技術 /232
8.2.1 固態硬盤的結構與性能優化 /233
8.2.2 閃存感知的RAID技術 /237
8.2.3 基于PCIe接口的閃存陣列 /245
8.3 鐵電存儲器 /249
8.4 相變存儲器 /250
8.5 阻變存儲器 /251
8.6 自旋轉移矩磁存儲器 /254
8.7 本章小結與擴展閱讀 /257
思考題 /258
參考文獻 /258