本書共分8章,主要內容如下:
第1章介紹數據的認知與研究任務,大數據概念特征及技術挑戰等。
第2章介紹大數據內容、知識和結果表達概念,以及元數據和知識圖譜技術。
第3章介紹數據存儲基礎、大數據存儲要求以及應對技術和典型系統。
第4章介紹數據管理基礎,新型數據管理模型及其相應大數據管理系統。
第5章介紹數據計算基礎,大數據計算特點,大數據的批量、流、圖等新計算模型和特點,以及計算引擎的工作原理等。
第6章介紹大數據分析概念、分類聚類等數據分析的基本方法,以及深度學習等數據分析的高級方法。
第7章介紹數據可視化概念、可視化方法與常用工具,以及大數據可視化面臨的問題及相應方法。
第8章介紹大數據面臨的安全威脅和安全需求,以及針對大數據全生命周期不同階段的大數據安全技術。
戰略支援部隊信息工程大學教授。長期從事網絡數據分析方向的研究工作。
目錄
第1章 大數據概述1
1.1 認知數據1
1.1.1 數據概念1
1.1.2 數據研究內容2
1.2 認知大數據5
1.2.1 大數據形成6
1.2.2 大數據概念7
1.2.3 大數據技術9
1.3 大數據表達12
1.4 大數據面臨的挑戰14
1.4.1 數據復雜性帶來的挑戰14
1.4.2 計算復雜性帶來的挑戰15
1.4.3 系統復雜性帶來的挑戰15
思考題16
第2章 大數據表達方法17
2.1 元數據17
2.1.1 元數據形成18
2.1.2 元數據概念20
2.1.3 元數據體系22
2.2 大數據的元數據24
2.2.1 大數據的元數據標準24
2.2.2 元數據管理25
2.3 知識表示26
2.3.1 知識的概念26
2.3.2 知識表示的概念26
2.3.3 命題邏輯與謂詞邏輯29
2.3.4 語義網絡32
2.3.5 本體33
2.3.6 語義Web35
2.4 知識圖譜39
2.4.1 知識圖譜概念40
2.4.2 知識圖譜的數據模型40
2.4.3 知識圖譜的向量表示43
思考題45
第3章 大數據存儲46
3.1 數據存儲基礎46
3.1.1 數據存儲概念46
3.1.2 磁盤存儲原理48
3.1.3 磁盤陣列52
3.1.4 磁盤卷58
3.1.5 存儲空間59
3.2 數據存儲系統62
3.2.1 基于數據塊的存儲系統62
3.2.2 基于文件的存儲系統64
3.2.3 基于對象的存儲系統69
3.3 大數據存儲現狀69
3.3.1 大數據存儲面對的挑戰70
3.3.2 云存儲71
思考題72
第4章 大數據管理73
4.1 數據管理相關知識73
4.1.1 數據管理概念73
4.1.2 數據管理模型75
4.1.3 數據管理系統76
4.2 大數據管理面臨的主要問題79
4.3 分布式文件系統80
4.3.1 文件管理系統原理概述81
4.3.2 分布式文件管理系統原理85
4.3.3 典型的HDFS分布式文件系統90
4.4 NoSQL數據庫系統96
4.4.1 關系模型98
4.4.2 非關系模型99
4.4.3 NoSQL數據存儲109
4.4.4 NoSQL基本理論111
4.4.5 NoSQL體系框架112
思考題113
第5章 大數據計算115
5.1 計算系統及其體系結構115
5.2 計算服務系統及其體系結構118
5.3 大數據的計算類型及特點121
5.4 大數據的批量計算123
5.4.1 MapReduce及其計算123
5.4.2 Spark及其計算127
5.5 大數據的流式計算133
5.5.1 流數據概念及特點133
5.5.2 Spark Streaming及其流計算134
5.5.3 Storm及其流計算138
5.6 大數據的圖計算141
5.6.1 BSP模型142
5.6.2 圖計算系統Pregel145
思考題146
第6章 大數據分析148
6.1 大數據分析概念148
6.2 數據分析的基本方法149
6.2.1 數據分類算法149
6.2.2 數據聚類方法157
6.2.3 關聯規則算法163
6.2.4 圖數據分析168
6.3 數據分析的高級方法173
6.3.1 深度學習173
6.3.2 強化學習178
6.3.3 遷移學習180
思考題181
第7章 大數據可視化182
7.1 數據可視化概述182
7.1.1 可視化與可視化技術182
7.1.2 數據可視化概念183
7.1.3 數據可視化作用184
7.2 數據可視化技術186
7.2.1 數據基本統計特征的可視化186
7.2.2 高維數據的可視化189
7.2.3 面向大數據主流應用的信息可視化192
7.3 常用數據可視化工具198
7.3.1 基于Excel的數據可視化198
7.3.2 基于Tableau的數據可視化201
7.3.3 基于JavaScript開發的數據可視分析205
7.4 大數據可視化面臨問題與挑戰211
思考題212
第8章 大數據安全213
8.1 大數據安全概覽213
8.1.1 大數據安全形勢213
8.1.2 大數據安全威脅214
8.1.3 大數據安全需求214
8.2 大數據安全技術215
8.2.1 匿名認證技術215
8.2.2 訪問控制安全技術220
8.2.3 數據存儲完整性證明技術225
8.2.4 數據處理安全技術228
8.2.5 數據發布隱私保護技術234
思考題238
參考文獻239