講解了網(wǎng)絡(luò)大數(shù)據(jù)時(shí)代應(yīng)運(yùn)而生的、能高效迅捷地分析處理數(shù)據(jù)的工具——Spark，它帶領(lǐng)讀者快速掌握用 Spark 收集、計(jì)算、簡化和保存海量數(shù)據(jù)的方法，學(xué)會(huì)交互、迭代和增量式分析，解決分區(qū)、數(shù)據(jù)本地化和自定義序列化等問題。
全棧工程師，長期涉足大數(shù)據(jù)的研發(fā)工作。擁有豐富的大數(shù)據(jù)經(jīng)驗(yàn)，曾擔(dān)任多家知名企的主力研發(fā)，同時(shí)負(fù)責(zé)大數(shù)據(jù)云服務(wù)組件開發(fā)。精通Java、Scala、Python等多種編程語言，擅長大數(shù)據(jù)生態(tài)圈的研發(fā)、算法、逆向工程等技術(shù)。為多家企業(yè)提供技術(shù)支持，并長期面向企業(yè)一線開發(fā)人員分享實(shí)戰(zhàn)經(jīng)驗(yàn)。
=第1篇 準(zhǔn)備
-
第1章 認(rèn)識大數(shù)據(jù)和Spark 2
1.1 大數(shù)據(jù)的介紹 2
1.2 Apache Spark能做什么 3
1.3 其他分布式數(shù)據(jù)處理框架 4
1.4 如何使用本書 4
∣1.4.1 需要提前具備的基礎(chǔ) 4
∣1.4.2 準(zhǔn)備相關(guān)開發(fā)環(huán)境 4
∣1.4.3 如何學(xué)習(xí)本書 5
-
第2章 安裝與配置Spark集群 6
2.1 下載Spark安裝包 6
2.2 檢查與準(zhǔn)備集群環(huán)境 7
2.3 了解目前集群中已經(jīng)部署的框架服務(wù) 11
2.4 部署Spark集群 12
∣2.4.1 實(shí)例1：基于Standalone模式部署Spark集群 12
∣2.4.2 實(shí)例2：部署Spark的歷史服務(wù)——Spark History Server 16
∣2.4.3 實(shí)例3：基于Standalone模式部署高可用的Master服務(wù) 18
∣2.4.4 實(shí)例4：基于YARN模式部署Spark集群 20
∣2.4.5 Standalone模式與YARN模式的特點(diǎn) 22
2.5 本章小結(jié) 23
-
第3章 第1個(gè)Spark程序 24
3.1 運(yùn)行第1個(gè)Spark程序 24
∣3.1.1 實(shí)例5：基于Standalone模式運(yùn)行第1個(gè)Spark程序 24
∣3.1.2 實(shí)例6：基于YARN模式運(yùn)行第1個(gè)Spark程序 27
∣3.1.3 提交Spark程序時(shí)的參數(shù)規(guī)范 30
3.2 使用spark-shell編寫并運(yùn)行WordCount程序 30
∣3.2.1 實(shí)例7：啟動(dòng)spark-shell 31
∣3.2.2 實(shí)例8：在spark-shell中編寫WordCount程序 32
3.3 使用IDEA編寫并運(yùn)行WordCount程序 34
∣3.3.1 實(shí)例9：準(zhǔn)備開發(fā)環(huán)境，并構(gòu)建代碼工程 34
∣3.3.2 實(shí)例10：使用IDEA編寫WordCount程序 41
∣3.3.3 實(shí)例11：在IDEA中本地運(yùn)行WordCount程序 44
∣3.3.4 實(shí)例12：在IDEA中遠(yuǎn)程運(yùn)行WordCount程序 46
∣3.3.5 實(shí)例13：打包程序，并提交至集群運(yùn)行 48
3.4 本章小結(jié) 49
=
第2篇 入門
-
第4章 讀寫分布式數(shù)據(jù)——基于Spark Core 52
4.1 RDD的誕生 52
4.2 進(jìn)一步理解RDD 53
∣4.2.1 數(shù)據(jù)存儲(chǔ) 53
∣4.2.2 數(shù)據(jù)分析 55
∣4.2.3 程序調(diào)度 56
4.3 讀取數(shù)據(jù)并生成RDD 57
∣4.3.1 實(shí)例14：讀取普通文本數(shù)據(jù) 58
∣4.3.2 實(shí)例15：讀取JSON格式的數(shù)據(jù) 59
∣4.3.3 實(shí)例16：讀取CSV、TSV格式的數(shù)據(jù) 61
∣4.3.4 實(shí)例17：讀取SequenceFile格式的數(shù)據(jù) 62
∣4.3.5 實(shí)例18：讀取Object格式的數(shù)據(jù) 64
∣4.3.6 實(shí)例19：讀取HDFS中的數(shù)據(jù)——顯式調(diào)用Hadoop API 66
∣4.3.7 實(shí)例20：讀取MySQL數(shù)據(jù)庫中的數(shù)據(jù) 68
4.4 保存RDD中的數(shù)據(jù)到外部存儲(chǔ) 70
∣4.4.1 實(shí)例21：保存成普通文本文件 70
∣4.4.2 實(shí)例22：保存成JSON文件 71
∣4.4.3 實(shí)例23：保存成CSV、TSV文件 73
∣4.4.4 實(shí)例24：保存成SequenceFile文件 74
∣4.4.5 實(shí)例25：保存成Object文件 75
∣4.4.6 實(shí)例26：保存成HDFS文件——顯式調(diào)用Hadoop API的方式 76
∣4.4.7 實(shí)例27：寫入MySQL數(shù)據(jù)庫 78
4.5 本章小結(jié) 80
-
第5章 處理分布式數(shù)據(jù)——基于Spark Core 81
5.1 RDD的轉(zhuǎn)換（transformations）操作——轉(zhuǎn)換數(shù)據(jù)形態(tài) 81
∣5.1.1 實(shí)例28：基礎(chǔ)轉(zhuǎn)換操作 81
∣5.1.2 實(shí)例29：鍵值對轉(zhuǎn)換操作 103
5.2 RDD的行動(dòng)（actions）操作——觸發(fā)執(zhí)行任務(wù)計(jì)劃 115
∣5.2.1 實(shí)例30：基礎(chǔ)行動(dòng)操作 116
∣5.2.2 實(shí)例31：鍵值對行動(dòng)操作 125
∣5.2.3 實(shí)例32：數(shù)值行動(dòng)操作 127
5.3 本章小結(jié) 128
=
第3篇 進(jìn)階
-
第6章 RDD的高級操作 130
6.1 緩存RDD 130
∣6.1.1 緩存RDD的基礎(chǔ)知識 130
∣6.1.2 實(shí)例33：緩存與釋放RDD 133
6.2 RDD的檢查點(diǎn)（Checkpoint）機(jī)制 139
∣6.2.1 了解Checkpoint機(jī)制 139
∣6.2.2 實(shí)例34：使用Checkpoint機(jī)制 141
∣6.2.3 Checkpoint機(jī)制的工作流程 144
6.3 RDD的依賴關(guān)系 145
∣6.3.1 窄依賴（narrow dependencies） 145
∣6.3.2 寬依賴（wide/shuffle dependencies） 148
∣6.3.3 實(shí)例35：讓子RDD混合依賴依賴多個(gè)父RDD 151
∣6.3.4 實(shí)例36：詞頻統(tǒng)計(jì)——總結(jié)運(yùn)算過程涉及的概念 153
6.4 累加器（Accumulator） 155
∣6.4.1 認(rèn)識累加器 155
∣6.4.2 實(shí)例37：使用系統(tǒng)累加器1——長整數(shù)、雙精度浮點(diǎn)數(shù)累加器 156
∣6.4.3 實(shí)例38：使用系統(tǒng)累加器2——集合累加器 159
∣6.4.4 實(shí)例39：自定義累加器 160
6.5 廣播（Broadcast）——將數(shù)據(jù)塊緩存到所有節(jié)點(diǎn) 164
∣6.5.1 認(rèn)識廣播 165
∣6.5.2 實(shí)例40：使用廣播補(bǔ)全數(shù)據(jù) 165
6.6 本章小結(jié) 168
-
第7章 用SQL語法分析結(jié)構(gòu)化數(shù)據(jù)——基于Spark SQL 169
7.1 為什么會(huì)產(chǎn)生Spark SQL 169
7.2 認(rèn)識DataFrame與Dataset數(shù)據(jù)類型 170
∣7.2.1 認(rèn)識DataFrame 170
∣7.2.2 認(rèn)識Dataset 171
7.3 實(shí)例41：通過Dataset、DataFrame分析用戶數(shù)據(jù) 172
∣7.3.1 用spark-shell編寫程序 172
∣7.3.2 用IDEA編寫程序 175
7.4 不同Spark版本的操作差異 177
∣7.4.1 認(rèn)識SQLContext與HiveContext 178
∣7.4.2 認(rèn)識SparkSession 178
7.5 DataFrame、Dataset的基本操作 179
∣7.5.1 DSL與SQL的語法風(fēng)格 179
∣7.5.2 使用臨時(shí)視圖的注意事項(xiàng) 181
∣7.5.3 實(shí)例42：讀取JSON、CSV格式的數(shù)據(jù) 183
∣7.5.4 實(shí)例43：讀取Parquet格式的數(shù)據(jù) 185
∣7.5.5 實(shí)例44：讀取代碼中動(dòng)態(tài)生成的數(shù)據(jù) 185
∣7.5.6 實(shí)例45：讀取關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù) 188
∣7.5.7 實(shí)例46：輸出Dataset、DataFrame中的數(shù)據(jù) 189
∣7.5.8 實(shí)例47：RDD、DataFrame、Dataset之間的相互轉(zhuǎn)換 192
7.6 用戶自定義函數(shù) 195
∣7.6.1 實(shí)例48：實(shí)現(xiàn)“一進(jìn)一出”的UDF 195
∣7.6.2 實(shí)例49：實(shí)現(xiàn)“多進(jìn)一出”的UDAF 198
∣7.6.3 實(shí)例50：實(shí)現(xiàn)“一進(jìn)多出”的UDTF 208
7.7 集成Spark SQL與Hive 211
∣7.7.1 已經(jīng)部署Hive框架 211
∣7.7.2 尚未部署Hive框架 215
7.8 本章小結(jié) 215
-
第8章 實(shí)時(shí)處理流式數(shù)據(jù)——基于Spark Streaming 216
8.1 為什么會(huì)產(chǎn)生Spark Streaming 216
8.2 第1個(gè)Spark Streaming程序 216
∣8.2.1 實(shí)例51：用spark-shell編寫程序 216
∣8.2.2 實(shí)例52：用IDEA編寫程序 221
8.3 什么是DStream 222
∣8.3.1 認(rèn)識DStream 222
∣8.3.2 認(rèn)識DStreamGraph 223
8.4 讀取數(shù)據(jù)到DStream中 227
∣8.4.1 實(shí)例53：讀取HDFS文件夾中的數(shù)據(jù) 227
∣8.4.2 實(shí)例54：讀取RDD組成的數(shù)據(jù)隊(duì)列 229
∣8.4.3 實(shí)例55：實(shí)時(shí)讀取Flume中的數(shù)據(jù) 230
∣8.4.4 實(shí)例56：用高階API實(shí)時(shí)讀取Kafka中的數(shù)據(jù) 235
∣8.4.5 實(shí)例57：用低階API實(shí)時(shí)讀取Kafka中的數(shù)據(jù) 242
8.5 Spark Streaming中的幾個(gè)時(shí)間概念 251
∣8.5.1 批處理間隔 251
∣8.5.2 窗口時(shí)間寬度與滑動(dòng)時(shí)間寬度 252
∣8.5.3 實(shí)例58：使用窗口操作，每兩秒鐘統(tǒng)計(jì)10秒內(nèi)的平均溫度 254
8.6 DStream的操作總結(jié) 259
∣8.6.1 DStream的操作說明 259
∣8.6.2 實(shí)例59：直接面向DStream中的RDD進(jìn)行數(shù)據(jù)分析 261
∣8.6.3 實(shí)例60：將DStream中的數(shù)據(jù)實(shí)時(shí)輸出至外部存儲(chǔ)系統(tǒng) 263
∣8.6.4 實(shí)例61：對Dstream進(jìn)行join操作 267
8.7 DStream中的轉(zhuǎn)換分類 269
∣8.7.1 無狀態(tài)轉(zhuǎn)換 269
∣8.7.2 有狀態(tài)轉(zhuǎn)換 270
∣8.7.3 實(shí)例：用有狀態(tài)轉(zhuǎn)換做全局詞頻統(tǒng)計(jì) 270
8.8 在Spark Streaming中的緩存與Checkpoint 272
∣8.8.1 認(rèn)識Spark Streaming中的Checkpoint 273
∣8.8.2 實(shí)例62：使用Spark Streaming中的Checkpoint 273
8.9 Spark Streaming中的累加器與廣播變量 276
∣8.9.1 認(rèn)識累加器與廣播變量 276
∣8.9.2 實(shí)例63：自定義累加器，并結(jié)合無狀態(tài)轉(zhuǎn)換，實(shí)現(xiàn)實(shí)時(shí)的全局詞頻統(tǒng)計(jì) 276
8.10 關(guān)閉Spark Streaming程序 280
∣8.10.1 關(guān)閉程序的方案 281
∣8.10.2 實(shí)例64：合理關(guān)閉一個(gè)運(yùn)行中的Spark Streaming程序 281
8.11 本章小結(jié) 284
=
第4篇 高階
-
第9章 實(shí)時(shí)處理流式數(shù)據(jù)——基于Structured Streaming 286
9.1 為什么會(huì)產(chǎn)生Structured Streaming 286
9.2 第1個(gè)Structured Streaming程序 287
∣9.2.1 實(shí)例65：用spark-shell編寫程序 287
∣9.2.2 實(shí)例66：用IDEA編寫程序 289
9.3 Structured Streaming的編程模型 291
9.4 輸入數(shù)據(jù)——生成Streaming Dataset、 Streaming DataFrame 292
∣9.4.1 實(shí)例67：根據(jù)文件生成工作流 292
∣9.4.2 實(shí)例68：根據(jù)文件、文件夾生成自動(dòng)分區(qū)的工作流 295
∣9.4.3 實(shí)例69：根據(jù)Kafka以Streaming模式生成工作流 297
∣9.4.4 實(shí)例70：以Kafka為數(shù)據(jù)源，通過Batch方式生成工作流 300
∣9.4.5 實(shí)例71：根據(jù)指定速率生成工作流 304
9.5 基于事件時(shí)間的窗口操作 305
∣9.5.1 事件時(shí)間窗口的工作方式 305
∣9.5.2 實(shí)例72：事件時(shí)間窗口的生成規(guī)則 307
∣9.5.3 實(shí)例73：基于事件時(shí)間窗口實(shí)現(xiàn)詞頻統(tǒng)計(jì) 311
9.6 基于Watermark處理延遲數(shù)據(jù) 314
∣9.6.1 Watermark的作用 314
∣9.6.2 實(shí)例74：基于Update模式實(shí)現(xiàn)詞頻統(tǒng)計(jì)，并結(jié)合Watermark處理延遲數(shù)據(jù) 314
∣9.6.3 實(shí)例75：基于Append模式實(shí)現(xiàn)詞頻統(tǒng)計(jì)，并結(jié)合Watermark處理延遲數(shù)據(jù) 320
∣9.6.4 Watermark的底層工作原理 322
∣9.6.5 總結(jié)：Watermark機(jī)制與輸出模式 329
9.7 實(shí)例76：在處理流式數(shù)據(jù)時(shí)去除重復(fù)數(shù)據(jù) 330
9.8 Structured Streaming中的join操作 332
∣9.8.1 實(shí)例77：在Stream-Static模式下的inner join操作 333
∣9.8.2 實(shí)例78：在Stream-Stream模式下的inner join操作 335
∣9.8.3 總結(jié)：已經(jīng)支持的join操作 340
9.9 在Structured Streaming中實(shí)現(xiàn)數(shù)據(jù)分組， 并手動(dòng)維護(hù)分組狀態(tài) 341
∣9.9.1 實(shí)例79：通過mapGroupsWithState實(shí)現(xiàn)數(shù)據(jù)分組，并手動(dòng)維護(hù)分組狀態(tài) 341
∣9.9.2 實(shí)例80：通過flatMapGroupsWithState實(shí)現(xiàn)數(shù)據(jù)分組，并手動(dòng)維護(hù)分組狀態(tài) 347
∣9.9.3 總結(jié)：手動(dòng)維護(hù)狀態(tài)與Watermark的使用技巧 352
9.10 輸出分析結(jié)果 353
∣9.10.1 輸出模式（Output Mode）的使用場景 353
∣9.10.2 實(shí)例81：基于File Sink輸出數(shù)據(jù) 354
∣9.10.3 實(shí)例82：基于Kafka Sink，以Streaming方式輸出數(shù)據(jù) 356
∣9.10.4 實(shí)例83：基于Kafka Sink，以Batch方式輸出數(shù)據(jù) 358
∣9.10.5 實(shí)例84：基于Console Sink輸出數(shù)據(jù) 360
∣9.10.6 實(shí)例85：基于Memory Sink輸出數(shù)據(jù) 360
∣9.10.7 實(shí)例86：基于Foreach Sink輸出數(shù)據(jù) 362
∣9.10.8 實(shí)例87：基于ForeachBatch Sink輸出數(shù)據(jù) 367
∣9.10.9 總結(jié)：不同Sink所適用的輸出模式 369
9.11 Trigger觸發(fā)器的分類 370
9.12 管理與監(jiān)控工作流 370
∣9.12.1 管理工作流 370
∣9.12.2 監(jiān)控工作流 372
9.13 Structured Streaming中的Checkpoint機(jī)制 372
9.14 連續(xù)處理模式——Continuous Processing 373
9.15 本章小結(jié) 374
-
第10章 Spark的相關(guān)優(yōu)化 375
10.1 優(yōu)化Spark程序 375
∣10.1.1 實(shí)例88：盡可能減少或避免出現(xiàn)Shuffle過程 375
∣10.1.2 實(shí)例89：使用Kryo作為序列化方案 377
∣10.1.3 盡可能批量操作數(shù)據(jù) 381
∣10.1.4 合理設(shè)置分區(qū)數(shù) 381
∣10.1.5 合理設(shè)置批處理間隔 381
10.2 優(yōu)化數(shù)據(jù) 382
∣10.2.1 關(guān)于數(shù)據(jù)傾斜 382
∣10.2.2 實(shí)例90：使用自定義Partitioner緩解數(shù)據(jù)傾斜 383
∣10.2.3 關(guān)于數(shù)據(jù)補(bǔ)全 387
10.3 調(diào)優(yōu)資源 388
10.4 本章小結(jié) 390
=
第5篇 商業(yè)項(xiàng)目實(shí)戰(zhàn)
-
第11章 實(shí)戰(zhàn)：學(xué)生學(xué)習(xí)情況分析系統(tǒng) 392
11.1 項(xiàng)目概述 392
∣11.1.1 業(yè)務(wù)背景 392
∣11.1.2 劃分業(yè)務(wù)模塊 392
11.2 開發(fā)環(huán)境說明 393
11.3 項(xiàng)目實(shí)現(xiàn) 394
∣11.3.1 構(gòu)建工程 394
∣11.3.2 模擬數(shù)據(jù) 395
∣11.3.3 實(shí)時(shí)發(fā)送數(shù)據(jù)到Kafka 399
∣11.3.4 實(shí)時(shí)分析平臺答題數(shù)據(jù) 402
∣11.3.5 構(gòu)建推薦模型 405
∣11.3.6 實(shí)時(shí)推薦題目 411
∣11.3.7 離線學(xué)情分析 415
11.4 本章小結(jié) 422
新書資訊