內(nèi)容新穎，可操作性強(qiáng)，層層深入，簡(jiǎn)明易懂。從實(shí)用角度出發(fā)，重點(diǎn)培養(yǎng)動(dòng)手解決問題的能力。
提供體系完整的100學(xué)時(shí)在線實(shí)驗(yàn)，即學(xué)即練，書網(wǎng)結(jié)合。
96個(gè)案例實(shí)戰(zhàn)（課程配套案例36個(gè)、擴(kuò)展案例60個(gè)）和50余套自測(cè)題，附贈(zèng)PPT課件、案例源代碼、視頻等資源。
時(shí)允田，IT教育培訓(xùn)高級(jí)講師，現(xiàn)任西普教育教研部經(jīng)理。先后就職清華同方、SK、森縱艾德、八維教育和西普教育等機(jī)構(gòu)，擔(dān)任中北大學(xué)、南京大學(xué)、大連理工軟件學(xué)院等多所高校外聘企業(yè)講師。擁有十余年的IT從業(yè)和教育培訓(xùn)經(jīng)驗(yàn)，精通Java、Android、HTML5、大數(shù)據(jù)等技術(shù)。
林雪綱，博士，CCF理事，現(xiàn)任北京西普陽(yáng)光教育科技股份有限公司常務(wù)副總裁。十余年信息安全及教育培訓(xùn)行業(yè)經(jīng)驗(yàn)，具有豐富的信息安全和數(shù)據(jù)領(lǐng)域大型項(xiàng)目咨詢、管理及教學(xué)培訓(xùn)經(jīng)驗(yàn)。精通網(wǎng)絡(luò)安全、安全架構(gòu)及技術(shù)管理、大數(shù)據(jù)分析，領(lǐng)導(dǎo)參與多個(gè)安全平臺(tái)研發(fā)、數(shù)字城市解決方案、移動(dòng)互聯(lián)網(wǎng)平臺(tái)開發(fā)項(xiàng)目。
基礎(chǔ)篇
第1章 Hadoop概述 1
1．1 Hadoop簡(jiǎn)介 1
1．2 Hadoop相關(guān)項(xiàng)目 2
1．3 Hadoop來源 3
1．4 Hadoop的發(fā)展史 4
1．5 Hadoop特點(diǎn) 5
1．6 Hadoop體系架構(gòu) 6
1．6．1 HDFS體系結(jié)構(gòu) 7
1．6．2 MapReduce體系結(jié)構(gòu) 7
本章小結(jié) 8
習(xí)題 8
第2章 Hadoop基礎(chǔ)環(huán)境配置 9
2．1 準(zhǔn)備Linux環(huán)境 9
2．1．1 安裝VMware12虛擬機(jī) 9
2．1．2 部署CentOS 64位操作系統(tǒng) 11
2．2 Linux配置 16
2．2．1 什么是Linux 16
2．2．2 Linux發(fā)行版 16
2．2．3 配置網(wǎng)絡(luò) 16
2．2．4 Linux終端 17
2．3 Hadoop環(huán)境搭建 21
2．3．1 JDK安裝和測(cè)試 21
2．3．2 Hadoop安裝和配置 25
2．3．3 SSH免密碼配置 31
本章小結(jié) 33
習(xí)題 34
第3章 分布式存儲(chǔ)HDFS 35
3．1 HDFS概念 35
3．1．1 HDFS簡(jiǎn)介 35
3．1．2 HDFS設(shè)計(jì)思路和理念 35
3．2 HDFS體系結(jié)構(gòu) 36
3．3 HDFS文件存儲(chǔ)機(jī)制 36
3．4 HDFS Shell介紹 39
3．4．1 命令格式 39
3．4．2 HDFS用戶命令 40
3．4．3 HDFS管理員命令 40
3．5 Hadoop項(xiàng)目創(chuàng)建 47
3．6 RPC通信原理 53
3．6．1 什么是Hadoop的RPC 53
3．6．2 RPC采用的模式 53
3．7 分布式文件系統(tǒng)操作類 59
本章小結(jié) 69
習(xí)題 69
第4章 計(jì)算系統(tǒng)MapReduce 70
4．1 MapReduce概念 70
4．1．1 MapReduce簡(jiǎn)介 70
4．1．2 MapReduce 數(shù)據(jù)類型與格式 71
4．1．3 數(shù)據(jù)類型Writable接口 71
4．1．4 Hadoop序列化機(jī)制 72
4．2 MapReduce架構(gòu) 72
4．2．1 數(shù)據(jù)分片 72
4．2．2 MapReduce執(zhí)行過程 73
4．2．3 Mapper執(zhí)行過程 73
4．2．4 Reducer執(zhí)行過程 74
4．2．5 Shuffle過程 75
4．3 第一個(gè)MapReduce案例 75
4．4 MapReduce接口類 79
4．4．1 MapReduce輸入的處理類 79
4．4．2 MapReduce輸出的處理類 80
本章小結(jié) 87
習(xí)題 87
第5章 計(jì)算模型Yarn 88
5．1 Yarn概述 88
5．1．1 Yarn簡(jiǎn)介 88
5．1．2 Yarn的組成 89
5．2 Yarn的執(zhí)行過程 89
5．3 新舊MapReduce的對(duì)比 90
本章小結(jié) 101
習(xí)題 101
第6章 數(shù)據(jù)云盤 102
6．1 項(xiàng)目概述 102
6．2 功能需求 102
6．3 軟件開發(fā)需求 102
6．4 效果展示 103
6．5 系統(tǒng)開發(fā) 104
本章小結(jié) 125
習(xí)題 125
提高篇
第7章 協(xié)調(diào)系統(tǒng)Zookeeper 126
7．1 Zookeeper概述 126
7．1．1 Zookeeper簡(jiǎn)介 126
7．1．2 Zookeeper數(shù)據(jù)模型 127
7．1．3 Zookeeper特征 127
7．1．4 Zookeeper工作原理 128
7．2 Zookeeper術(shù)語 129
7．2．1 節(jié)點(diǎn) 129
7．2．2 角色 129
7．2．3 順序號(hào) 129
7．2．4 觀察 129
7．2．5 Leader選舉 129
7．3 事件 130
7．4 Zookeeper Shell操作 130
7．4．1 Zookeeper服務(wù)命令 130
7．4．2 Zookeeper客戶端命令 134
7．5 Zookeeper API操作 137
本章小結(jié) 156
習(xí)題 156
第8章 Hadoop數(shù)據(jù)庫(kù)Hbase 157
8．1 Hbase概述 157
8．1．1 Hbase簡(jiǎn)介 157
8．1．2 Hbase優(yōu)勢(shì)和特點(diǎn) 158
8．1．3 Hbase專業(yè)術(shù)語 158
8．2 Hbase架構(gòu) 158
8．2．1 角色 159
8．2．2 Hbase物理存儲(chǔ)和邏輯視圖 160
8．3 Hbase Shell操作 163
8．4 Hbase API操作 168
8．5 Hbase 過濾器 182
8．5．1 過濾器的含義 182
8．5．2 過濾器的比較操作符 182
8．5．3 過濾器的比較器 183
本章小結(jié) 193
習(xí)題 193
第9章 Hadoop數(shù)據(jù)倉(cāng)庫(kù)Hive 194
9．1 Hive概述 194
9．1．1 Hive簡(jiǎn)介 194
9．1．2 Hive數(shù)據(jù)類型 194
9．1．3 Hive Metastore 195
9．1．4 Hive存儲(chǔ)和壓縮 195
9．1．5 Hive與傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)比 195
9．2 Hive的系統(tǒng)架構(gòu) 196
9．3 Hive的數(shù)據(jù)模型 200
9．3．1 內(nèi)部表 200
9．3．2 外部表 200
9．3．3 分區(qū)表 201
9．3．4 桶表 201
9．4 Hive Shell操作 201
9．5 Hive API操作 208
9．6 Hive內(nèi)置函數(shù)和UDF 215
9．6．1 內(nèi)置函數(shù) 215
9．6．2 UDF函數(shù) 215
本章小結(jié) 222
習(xí)題 222
第10章 Hadoop數(shù)據(jù)采集Flume 223
10．1 Flume概述 223
10．1．1 Flume簡(jiǎn)介 223
10．1．2 Flume核心概念 223
10．1．3 Flume 系統(tǒng)要求 224
10．2 Flume架構(gòu) 224
10．3 Flume常見操作命令 225
10．4 Flume環(huán)境搭建 226
10．4．1 設(shè)置一個(gè)Agent 226
10．4．2 啟動(dòng)Agent 226
本章小結(jié) 231
習(xí)題 231
第11章 OTA離線數(shù)據(jù)分析平臺(tái) 232
11．1 項(xiàng)目概述 232
11．2 功能需求 233
11．3 軟件開發(fā)關(guān)鍵技術(shù) 233
11．4 效果展示 233
11．5 平臺(tái)搭建與測(cè)試 233
11．5．1 配置ssh免密碼登錄 233
11．5．2 配置JDK 234
11．5．3 配置Hadoop 236
11．5．4 配置Hive 242
11．6 數(shù)據(jù)收集 247
11．6．1 解壓Flume 247
11．6．2 修改配置文件 248
11．6．3 啟動(dòng)Flume 248
11．6．4 校驗(yàn)數(shù)據(jù) 248
11．7 數(shù)據(jù)分析 249
11．7．1 數(shù)據(jù)清洗 249
11．7．2 ETL編程 256
11．7．3 業(yè)務(wù)分析 261
11．7．4 配置Sqoop 264
11．7．5 從HDFS導(dǎo)出數(shù)據(jù)至MySQL 267
11．8 數(shù)據(jù)展示 268
11．8．1 搭建Web開發(fā)環(huán)境 268
11．8．2 添加代碼 272
11．8．3 項(xiàng)目結(jié)構(gòu) 282
11．8．4 啟動(dòng)Tomcat 283
11．8．5 訪問Web頁(yè)面 283
本章小結(jié) 283
習(xí)題 284
新書資訊