目 錄
第一部分 HAWQ技術解析
第1章 HAWQ概述 3
1.1 SQL-on-Hadoop 3
1.1.1 對SQL-on-Hadoop的期待 3
1.1.2 SQL-on-Hadoop的實現方式 4
1.2 HAWQ簡介 6
1.2.1 歷史與現狀 7
1.2.2 功能特性 7
1.3 HAWQ系統架構 9
1.3.1 系統架構 10
1.3.2 內部架構 11
1.4 為什么選擇HAWQ 12
1.4.1 常用SQL-on-Hadoop產品的不足 12
1.4.2 HAWQ的可行性 13
1.4.3 適合DBA的解決方案 18
1.5 小結 18
第2章 HAWQ安裝部署 19
2.1 安裝規劃 19
2.1.1 選擇安裝介質 19
2.1.2 選擇HAWQ版本 20
2.1.3 確認Ambari與HDP的版本兼容性 20
2.2 安裝前準備 21
2.2.1 確認最小系統需求 21
2.2.2 準備系統安裝環境 22
2.2.3 建立本地Repository 24
2.3 安裝Ambari 25
2.4 安裝HDP集群 27
2.5 安裝HAWQ 29
2.6 啟動與停止HAWQ 34
2.6.1 基本概念 34
2.6.2 操作環境 34
2.6.3 基本操作 36
2.7 小結 40
第3章 連接管理 41
3.1 配置客戶端身份認證 41
3.2 管理角色與權限 45
3.2.1 HAWQ中的角色與權限 45
3.2.2 管理角色及其成員 46
3.2.3 管理對象權限 48
3.2.4 口令加密 49
3.3 psql連接HAWQ 50
3.4 Kettle連接HAWQ 52
3.5 連接常見問題 55
3.6 小結 56
第4章 數據庫對象管理 57
4.1 創建和管理數據庫 57
4.2 創建和管理表空間 61
4.3 創建和管理模式 65
4.4 創建和管理表 72
4.4.1 創建表 72
4.4.2 刪除表 74
4.4.3 查看表對應的HDFS文件 74
4.5 創建和管理視圖 76
4.6 管理其他對象 77
4.7 小結 78
第5章 分區表 79
5.1 HAWQ中的分區表 79
5.2 確定分區策略 80
5.3 創建分區表 81
5.3.1 范圍分區與列表分區 81
5.3.2 多級分區 86
5.3.3 對已存在的非分區表進行分區 86
5.4 分區消除 87
5.5 分區表維護 91
5.6 小結 98
第6章 存儲管理 99
6.1 數據存儲選項 99
6.2 數據分布策略 103
6.2.1 數據分布策略概述 103
6.2.2 選擇數據分布策略 104
6.2.3 數據分布用法 108
6.3 從已有的表創建新表 111
6.4 小結 117
第7章 資源管理 118
7.1 HAWQ資源管理概述 118
7.1.1 全局資源管理 118
7.1.2 HAWQ資源隊列 119
7.1.3 資源管理器配置原則 119
7.2 配置獨立資源管理器 120
7.3 整合YARN 123
7.4 管理資源隊列 129
7.5 查詢資源管理器狀態 134
7.6 小結 137
第8章 數據管理 138
8.1 基本數據操作 138
8.2 數據裝載與卸載 141
8.2.1 gpfdist協議及其外部表 141
8.2.2 基于Web的外部表 148
8.2.3 使用外部表裝載數據 151
8.2.4 外部表錯誤處理 151
8.2.5 使用hawq load裝載數據 152
8.2.6 使用COPY復制數據 155
8.2.7 卸載數據 157
8.2.8 hawq register 159
8.2.9 格式化數據文件 159
8.3 數據庫統計 163
8.3.1 系統統計 163
8.3.2 統計配置 166
8.4 PXF 168
8.4.1 安裝配置PXF 168
8.4.2 PXF profile 168
8.4.3 訪問HDFS文件 170
8.4.4 訪問Hive數據 174
8.4.5 訪問JSON數據 186
8.4.6 向HDFS中寫入數據 190
8.5 小結 194
第9章 過程語言 195
9.1 HAWQ內建SQL語言 195
9.2 PL/pgSQL函數 197
9.3 給HAWQ內部函數起別名 198
9.4 表函數 198
9.5 參數個數可變的函數 201
9.6 多態類型 202
9.7 UDF管理 205
9.8 UDF實例——遞歸樹形遍歷 207
9.9 小結 214
第10章 查詢優化 215
10.1 HAWQ的查詢處理流程 215
10.2 GPORCA查詢優化器 217
10.2.1 GPORCA的改進 218
10.2.2 啟用GPORCA 224
10.2.3 使用GPORCA需要考慮的問題 225
10.2.4 GPORCA的限制 227
10.3 性能優化 228
10.4 查詢剖析 232
10.5 小結 238
第11章 高可用性 239
11.1 備份與恢復 239
11.1.1 備份方法 239
11.1.2 備份與恢復示例 242
11.2 高可用性 247
11.2.1 HAWQ高可用簡介 247
11.2.2 Master節點鏡像 248
11.2.3 HAWQ文件空間與HDFS高可用 251
11.2.4 HAWQ容錯服務 260
11.3 小結 262
第二部分 HAWQ實戰演練
第12章 建立數據倉庫示例模型 265
12.1 業務場景 265
12.2 數據倉庫架構 267
12.3 實驗環境 268
12.4 HAWQ相關配置 269
12.5 創建示例數據庫 273
12.5.1 在hdp4上的MySQL中創建源庫對象并生成測試數據 273
12.5.2 創建目標庫對象 275
12.5.3 裝載日期維度數據 283
12.6 小結 284
第13章 初始ETL 285
13.1 用Sqoop初始數據抽取 285
13.1.1 覆蓋導入 286
13.1.2 增量導入 286
13.1.3 建立初始抽取腳本 287
13.2 向HAWQ初始裝載數據 288
13.2.1 數據源映射 288
13.2.2 確定SCD處理方法 288
13.2.3 實現代理鍵 289
13.2.4 建立初始裝載腳本 289
13.3 建立初始ETL腳本 291
13.4 小結 293
第14章 定期ETL 294
14.1 變化數據捕獲 294
14.2 創建維度表版本視圖 296
14.3 創建時間戳表 297
14.4 用Sqoop定期數據抽取 298
14.5 建立定期裝載HAWQ函數 298
14.6 建立定期ETL腳本 303
14.7 測試 303
14.7.1 準備測試數據 303
14.7.2 執行定期ETL腳本 304
14.7.3 確認ETL過程正確執行 305
14.8 動態分區滾動 307
14.9 準實時數據抽取 309
14.10 小結 317
第15章 自動調度執行ETL作業 318
15.1 Oozie簡介 318
15.2 建立工作流前的準備 320
15.3 用Oozie建立定期ETL工作流 324
15.4 Falcon簡介 328
15.5 用Falcon process調度Oozie工作流 329
15.6 小結 332
第16章 維度表技術 333
16.1 增加列 333
16.2 維度子集 342
16.3 角色扮演維度 348
16.4 層次維度 354
16.4.1 固定深度的層次 355
16.4.2 多路徑層次 357
16.4.3 參差不齊的層次 359
16.5 退化維度 361
16.6 雜項維度 366
16.7 維度合并 374
16.8 分段維度 380
16.9 小結 386
第17章 事實表技術 387
17.1 周期快照 388
17.2 累積快照 394
17.3 無事實的事實表 404
17.4 遲到的事實 409
17.5 累積度量 416
17.6 小結 422
第18章 聯機分析處理 423
18.1 聯機分析處理簡介 423
18.1.1 概念 423
18.1.2 分類 424
18.1.3 性能 426
18.2 聯機分析處理實例 427
18.2.1 銷售訂單 427
18.2.2 行列轉置 433
18.3 交互查詢與圖形化顯示 440
18.3.1 Zeppelin簡介 440
18.3.2 使用Zeppelin執行HAWQ查詢 441
18.4 小結 448
第三部分 HAWQ數據挖掘
第19章 整合HAWQ與MADlib 451
19.1 MADlib簡介 452
19.2 安裝與卸載MADlib 455
19.3 MADlib基礎 458
19.3.1 向量 458
19.3.2 矩陣 469
19.4 小結 484
第20章 奇異值分解 485
20.1 奇異值分解簡介 485
20.2 MADlib奇異值分解函數 486
20.3 奇異值分解實現推薦算法 489
20.4 小結 501
第21章 主成分分析 502
21.1 主成分分析簡介 502
21.2 MADlib的PCA相關函數 504
21.3 PCA應用示例 509
21.4 小結 513
第22章 關聯規則方法 514
22.1 關聯規則簡介 514
22.2 Apriori算法 517
22.2.1 Apriori算法基本思想 517
22.2.2 Apriori算法步驟 518
22.3 MADlib的Apriori算法函數 518
22.4 Apriori應用示例 519
22.5 小結 524
第23章 聚類方法 525
23.1 聚類方法簡介 525
23.2 k-means方法 526
23.2.1 基本思想 527
23.2.2 原理與步驟 527
23.2.3 k-means算法 527
23.3 MADlib的k-means相關函數 529
23.4 k-means應用示例 532
23.5 小結 537
第24章 回歸方法 538
24.1 回歸方法簡介 538
24.2 Logistic回歸 539
24.3 MADlib的Logistic回歸相關函數 539
24.4 Logistic回歸示例 542
24.5 小結 546
第25章 分類方法 547
25.1 分類方法簡介 547
25.2 決策樹 549
25.2.1 決策樹的基本概念 549
25.2.2 決策樹的構建步驟 549
25.3 MADlib的決策樹相關函數 551
25.4 決策樹示例 555
25.5 小結 561
第26章 圖算法 562
26.1 圖算法簡介 562
26.2 單源最短路徑 565
26.3 MADlib的單源最短路徑相關函數 566
26.4 單源最短路徑示例 567
26.5 小結 569
第27章 模型驗證 570
27.1 交叉驗證簡介 570
27.2 MADlib的交叉驗證相關函數 573
27.3 交叉驗證示例 575
27.4 小結 578
新書資訊