本書分基礎篇和提高篇兩部分，共12章。基礎篇包括第1-6章，具體包含Hadoop概述、Hadoop基礎環境配置、分布式存儲HDFS、計算模型MapReduce、計算模型Yarn、項目實戰——簡易網盤。提高篇包括第7-12章，具體包含協調系統Zookeeper、數據庫Hbase、數據倉庫Hive、數據采集Flume、數據遷移Sqoop、項目實戰——OTA旅游網離線數據分析平臺。
內容新穎，可操作性強，層層深入，簡明易懂。從實用角度出發，重點培養動手解決問題的能力。
提供體系完整的100學時在線實驗，即學即練，書網結合。
96個案例實戰（課程配套案例36個、擴展案例60個）和50余套自測題，附贈PPT課件、案例源代碼、視頻等資源。
時允田，IT教育培訓高級講師，現任西普教育教研部經理。先后就職清華同方、SK、森縱艾德、八維教育和西普教育等機構，擔任中北大學、南京大學、大連理工軟件學院等多所高校外聘企業講師。擁有十余年的IT從業和教育培訓經驗，精通Java、Android、HTML5、大數據等技術。
林雪綱，博士，CCF理事，現任北京西普陽光教育科技股份有限公司常務副總裁。十余年信息安全及教育培訓行業經驗，具有豐富的信息安全和數據領域大型項目咨詢、管理及教學培訓經驗。精通網絡安全、安全架構及技術管理、大數據分析，領導參與多個安全平臺研發、數字城市解決方案、移動互聯網平臺開發項目。
基礎篇
第1章 Hadoop概述 1
1．1 Hadoop簡介 1
1．2 Hadoop相關項目 2
1．3 Hadoop來源 3
1．4 Hadoop的發展史 4
1．5 Hadoop特點 5
1．6 Hadoop體系架構 6
1．6．1 HDFS體系結構 7
1．6．2 MapReduce體系結構 7
本章小結 8
習題 8
第2章 Hadoop基礎環境配置 9
2．1 準備Linux環境 9
2．1．1 安裝VMware12虛擬機 9
2．1．2 部署CentOS 64位操作系統 11
2．2 Linux配置 16
2．2．1 什么是Linux 16
2．2．2 Linux發行版 16
2．2．3 配置網絡 16
2．2．4 Linux終端 17
2．3 Hadoop環境搭建 21
2．3．1 JDK安裝和測試 21
2．3．2 Hadoop安裝和配置 25
2．3．3 SSH免密碼配置 31
本章小結 33
習題 34
第3章 分布式存儲HDFS 35
3．1 HDFS概念 35
3．1．1 HDFS簡介 35
3．1．2 HDFS設計思路和理念 35
3．2 HDFS體系結構 36
3．3 HDFS文件存儲機制 36
3．4 HDFS Shell介紹 39
3．4．1 命令格式 39
3．4．2 HDFS用戶命令 40
3．4．3 HDFS管理員命令 40
3．5 Hadoop項目創建 47
3．6 RPC通信原理 53
3．6．1 什么是Hadoop的RPC 53
3．6．2 RPC采用的模式 53
3．7 分布式文件系統操作類 59
本章小結 69
習題 69
第4章 計算系統MapReduce 70
4．1 MapReduce概念 70
4．1．1 MapReduce簡介 70
4．1．2 MapReduce 數據類型與格式 71
4．1．3 數據類型Writable接口 71
4．1．4 Hadoop序列化機制 72
4．2 MapReduce架構 72
4．2．1 數據分片 72
4．2．2 MapReduce執行過程 73
4．2．3 Mapper執行過程 73
4．2．4 Reducer執行過程 74
4．2．5 Shuffle過程 75
4．3 第一個MapReduce案例 75
4．4 MapReduce接口類 79
4．4．1 MapReduce輸入的處理類 79
4．4．2 MapReduce輸出的處理類 80
本章小結 87
習題 87
第5章 計算模型Yarn 88
5．1 Yarn概述 88
5．1．1 Yarn簡介 88
5．1．2 Yarn的組成 89
5．2 Yarn的執行過程 89
5．3 新舊MapReduce的對比 90
本章小結 101
習題 101
第6章 數據云盤 102
6．1 項目概述 102
6．2 功能需求 102
6．3 軟件開發需求 102
6．4 效果展示 103
6．5 系統開發 104
本章小結 125
習題 125
提高篇
第7章 協調系統Zookeeper 126
7．1 Zookeeper概述 126
7．1．1 Zookeeper簡介 126
7．1．2 Zookeeper數據模型 127
7．1．3 Zookeeper特征 127
7．1．4 Zookeeper工作原理 128
7．2 Zookeeper術語 129
7．2．1 節點 129
7．2．2 角色 129
7．2．3 順序號 129
7．2．4 觀察 129
7．2．5 Leader選舉 129
7．3 事件 130
7．4 Zookeeper Shell操作 130
7．4．1 Zookeeper服務命令 130
7．4．2 Zookeeper客戶端命令 134
7．5 Zookeeper API操作 137
本章小結 156
習題 156
第8章 Hadoop數據庫Hbase 157
8．1 Hbase概述 157
8．1．1 Hbase簡介 157
8．1．2 Hbase優勢和特點 158
8．1．3 Hbase專業術語 158
8．2 Hbase架構 158
8．2．1 角色 159
8．2．2 Hbase物理存儲和邏輯視圖 160
8．3 Hbase Shell操作 163
8．4 Hbase API操作 168
8．5 Hbase 過濾器 182
8．5．1 過濾器的含義 182
8．5．2 過濾器的比較操作符 182
8．5．3 過濾器的比較器 183
本章小結 193
習題 193
第9章 Hadoop數據倉庫Hive 194
9．1 Hive概述 194
9．1．1 Hive簡介 194
9．1．2 Hive數據類型 194
9．1．3 Hive Metastore 195
9．1．4 Hive存儲和壓縮 195
9．1．5 Hive與傳統數據庫對比 195
9．2 Hive的系統架構 196
9．3 Hive的數據模型 200
9．3．1 內部表 200
9．3．2 外部表 200
9．3．3 分區表 201
9．3．4 桶表 201
9．4 Hive Shell操作 201
9．5 Hive API操作 208
9．6 Hive內置函數和UDF 215
9．6．1 內置函數 215
9．6．2 UDF函數 215
本章小結 222
習題 222
第10章 Hadoop數據采集Flume 223
10．1 Flume概述 223
10．1．1 Flume簡介 223
10．1．2 Flume核心概念 223
10．1．3 Flume 系統要求 224
10．2 Flume架構 224
10．3 Flume常見操作命令 225
10．4 Flume環境搭建 226
10．4．1 設置一個Agent 226
10．4．2 啟動Agent 226
本章小結 231
習題 231
第11章 OTA離線數據分析平臺 232
11．1 項目概述 232
11．2 功能需求 233
11．3 軟件開發關鍵技術 233
11．4 效果展示 233
11．5 平臺搭建與測試 233
11．5．1 配置ssh免密碼登錄 233
11．5．2 配置JDK 234
11．5．3 配置Hadoop 236
11．5．4 配置Hive 242
11．6 數據收集 247
11．6．1 解壓Flume 247
11．6．2 修改配置文件 248
11．6．3 啟動Flume 248
11．6．4 校驗數據 248
11．7 數據分析 249
11．7．1 數據清洗 249
11．7．2 ETL編程 256
11．7．3 業務分析 261
11．7．4 配置Sqoop 264
11．7．5 從HDFS導出數據至MySQL 267
11．8 數據展示 268
11．8．1 搭建Web開發環境 268
11．8．2 添加代碼 272
11．8．3 項目結構 282
11．8．4 啟動Tomcat 283
11．8．5 訪問Web頁面 283
本章小結 283
習題 284
新書資訊