本書以任務(wù)為導(dǎo)向，較為全面地介紹了Spark大數(shù)據(jù)技術(shù)的相關(guān)知識。全書共9章，具體內(nèi)容包括Spark概述；Scala基礎(chǔ)；Spark編程；Spark編程進(jìn)階；Spark SQL：結(jié)構(gòu)化數(shù)據(jù)文件處理；Spark Streaming：實時計算框架；Spark GraphX：圖計算框架；Spark MLlib：功能強(qiáng)大的算法庫；項目案例：餐飲平臺菜品智能推薦。本書的大部分章節(jié)都包含了實訓(xùn)與課后習(xí)題，通過練習(xí)和操作實踐，幫助讀者鞏固所學(xué)的內(nèi)容。
資 深大數(shù)據(jù)專家張良均領(lǐng)銜暢銷書作者團(tuán)隊，教育部長江學(xué)者特聘教授、國家杰出青年基金獲得者、IEEE Fellow、華南理工大學(xué)計算機(jī)與工程學(xué)院院長張軍傾力推薦。
本書采用了以任務(wù)為導(dǎo)向的教學(xué)模式，按照解決實際任務(wù)的工作流程路線，逐步展開介紹相關(guān)的理論知識點(diǎn)，推導(dǎo)生成可行的解決方案，后落實在任務(wù)實現(xiàn)環(huán)節(jié)。
全書大部分章節(jié)緊扣任務(wù)需求展開，不堆積知識點(diǎn)，著重于解決問題時思路的啟發(fā)與方案的實施。通過從任務(wù)需求到實現(xiàn)這一完整工作流程的體驗，幫助讀者真正理解與消化Hadoop大數(shù)據(jù)技術(shù)。
書中案例全部源于企業(yè)真實項目，可操作性強(qiáng)，引導(dǎo)讀者融會貫通，并提供源代碼等相關(guān)學(xué)習(xí)資源，幫助讀者快速掌握大數(shù)據(jù)相關(guān)技能。
張良均，高級信息系統(tǒng)項目管理師，泰迪杯全國大學(xué)生數(shù)據(jù)挖掘競賽（www.tipdm.org）發(fā)起人。華南師范大學(xué)、廣東工業(yè)大學(xué)兼職教授，廣東省工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會理事。兼有大型高科技企業(yè)和高校的工作經(jīng)歷，主要從事大數(shù)據(jù)挖掘及其應(yīng)用的策劃、研發(fā)及咨詢培訓(xùn)。全國計算機(jī)技術(shù)與軟件專業(yè)技術(shù)資格（水平）考試?yán)^續(xù)教育和CDA數(shù)據(jù)分析師培訓(xùn)講師。發(fā)表數(shù)據(jù)挖掘相關(guān)論文數(shù)二十余篇，已取得國家發(fā)明專利12項，主編《Hadoop大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》《R語言數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》等多本暢銷圖書，主持并完成科技項目9項。獲得SAS、SPSS數(shù)據(jù)挖掘認(rèn)證及Hadoop開發(fā)工程師證書，具有電力、電信、銀行、制造企業(yè)、電子商務(wù)和電子政務(wù)的項目經(jīng)驗和行業(yè)背景。
第 1章 Spark概述 1
任務(wù)1.1 認(rèn)識Spark 1
1.1.1 Spark的發(fā)展 1
1.1.2 Spark的特點(diǎn) 2
1.1.3 Spark生態(tài)圈 4
1.1.4 Spark的應(yīng)用場景 5
任務(wù)1.2 搭建Spark環(huán)境 5
1.2.1 搭建單機(jī)版環(huán)境 6
1.2.2 搭建單機(jī)偽分布式環(huán)境 6
1.2.3 搭建完全分布式環(huán)境 7
任務(wù)1.3 了解Spark運(yùn)行架構(gòu)與原理 10
1.3.1 Spark集群架構(gòu) 11
1.3.2 Spark作業(yè)運(yùn)行流程 11
1.3.3 Spark核心數(shù)據(jù)集RDD 15
1.3.4 Spark核心原理 17
小結(jié) 19
第 2章 Scala基礎(chǔ) 20
任務(wù)2.1 Scala的簡介與安裝 21
2.1.1 Scala簡介 21
2.1.2 Scala特性 21
2.1.3 Scala的環(huán)境設(shè)置及安裝 21
2.1.4 運(yùn)行Scala 23
任務(wù)2.2 定義函數(shù)識別號碼類型 24
2.2.1 數(shù)據(jù)類型 24
2.2.2 常量和變量 25
2.2.3 表達(dá)式 26
2.2.4 數(shù)組 27
2.2.5 函數(shù) 29
2.2.6 任務(wù)實現(xiàn) 31
任務(wù)2.3 統(tǒng)計廣州號碼段數(shù)量 32
2.3.1 if判斷 32
2.3.2 循環(huán) 33
2.3.3 任務(wù)實現(xiàn) 34
任務(wù)2.4 根據(jù)歸屬地對手機(jī)號碼段分組 34
2.4.1 List 35
2.4.2 Set 36
2.4.3 Map 37
2.4.4 元組 38
2.4.5 函數(shù)組合器 38
2.4.6 任務(wù)實現(xiàn) 39
任務(wù)2.5 編寫手機(jī)號碼歸屬地信息查詢程序 40
2.5.1 Scala類 40
2.5.2 Scala object 42
2.5.3 Scala模式匹配 42
2.5.4 Scala讀取文件 44
2.5.5 任務(wù)實現(xiàn) 44
小結(jié) 45
實訓(xùn) 45
實訓(xùn)1 編寫函數(shù)過濾文本中的回文單詞 45
實訓(xùn)2 使用Scala編程輸出楊輝三角 46
課后習(xí)題 46
第3章 Spark編程 48
任務(wù)3.1 以學(xué)生成績數(shù)據(jù)創(chuàng)建RDD 49
3.1.1 從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDD 50
3.1.2 從外部存儲創(chuàng)建RDD 51
3.1.3 任務(wù)實現(xiàn) 52
任務(wù)3.2 查詢學(xué)生成績表中的前5名 52
3.2.1 使用map轉(zhuǎn)換數(shù)據(jù) 52
3.2.2 使用sortBy()排序 53
3.2.3 使用collect()查詢 53
3.2.4 使用flatMap轉(zhuǎn)換數(shù)據(jù) 54
3.2.5 使用take()方式查詢某幾個值 54
3.2.6 任務(wù)實現(xiàn) 55
任務(wù)3.3 輸出單科成績?yōu)?00分的學(xué)生ID 55
3.3.1 使用union()合并多個RDD 56
3.3.2 使用filter()進(jìn)行過濾 56
3.3.3 使用distinct()進(jìn)行去重 56
3.3.4 簡單的集合操作 57
3.3.5 任務(wù)實現(xiàn) 58
任務(wù)3.4 輸出每位學(xué)生所有科目的總成績 58
3.4.1 鍵值對RDD簡介 59
3.4.2 創(chuàng)建鍵值對RDD 59
3.4.3 轉(zhuǎn)換操作keys與values 59
3.4.4 轉(zhuǎn)換操作reduceByKey() 60
3.4.5 轉(zhuǎn)換操作groupByKey() 60
3.4.6 任務(wù)實現(xiàn) 60
任務(wù)3.5 輸出每位學(xué)生的平均成績 61
3.5.1 使用join()連接兩個RDD 61
3.5.2 使用zip組合兩個RDD 63
3.5.3 使用combineByKey合并相同鍵的值 63
3.5.4 使用lookup查找指 定鍵的值 64
3.5.5 任務(wù)實現(xiàn) 64
任務(wù)3.6 將匯總后的學(xué)生成績存儲為文本文件 65
3.6.1 JSON文件的讀取與存儲 65
3.6.2 CSV文件的讀取與存儲 67
3.6.3 SquenceFile的讀取與存儲 69
3.6.4 文本文件的讀取與存儲 70
3.6.5 任務(wù)實現(xiàn) 71
小結(jié) 72
實訓(xùn) 72
實訓(xùn)1 統(tǒng)計文本中性別為男的用戶數(shù) 73
實訓(xùn)2 單詞計數(shù) 73
課后習(xí)題 74
第4章 Spark編程進(jìn)階 76
任務(wù)4.1 搭建開發(fā)環(huán)境 77
4.1.1 下載與安裝IntelliJ IDEA 77
4.1.2 Scala插件安裝與使用 79
4.1.3 配置Spark運(yùn)行環(huán)境 84
4.1.4 運(yùn)行Spark程序 85
任務(wù)4.2 使用移動平均預(yù)測股票漲跌 92
4.2.1 持久化（緩存） 93
4.2.2 數(shù)據(jù)分區(qū) 94
4.2.3 計算價格波動幅度 98
4.2.4 任務(wù)實現(xiàn) 100
小結(jié) 103
實訓(xùn) 103
實訓(xùn) 競賽網(wǎng)站訪問日志分析 104
課后習(xí)題 104
第5章 Spark SQL：結(jié)構(gòu)化數(shù)據(jù)文件處理 107
任務(wù)5.1 認(rèn)識Spark SQL 108
5.1.1 Spark SQL簡介 108
5.1.2 Spark SQL CLI配置 109
5.1.3 Spark SQL與Shell交互 110
任務(wù)5.2 掌握DataFrame基礎(chǔ)操作 111
5.2.1 創(chuàng)建DataFrame對象 111
5.2.2 DataFrame查看數(shù)據(jù) 114
5.2.3 DataFrame查詢操作 117
5.2.4 DataFrame輸出操作 123
任務(wù)5.3 探索分析法律服務(wù)網(wǎng)站數(shù)據(jù) 125
5.3.1 獲取數(shù)據(jù) 125
5.3.2 網(wǎng)頁類型分析 126
5.3.3 點(diǎn)擊次數(shù)分析 131
5.3.4 網(wǎng)頁排名分析 133
小結(jié) 135
實訓(xùn) 135
實訓(xùn)1 統(tǒng)計分析航空公司客戶數(shù)據(jù)的空值以及異常值 135
實訓(xùn)2 統(tǒng)計分析某公司每年的產(chǎn)品銷售量及銷售額 137
課后習(xí)題 139
第6章 Spark Streaming：實時計算框架 141
任務(wù)6.1 初探Spark Streaming 142
6.1.1 Spark Streaming概述 142
6.1.2 Spark Streaming運(yùn)行原理 142
6.1.3 初步使用Spark Streaming 143
任務(wù)6.2 掌握DStream編程模型 145
6.2.1 DStream簡介 146
6.2.2 DStream轉(zhuǎn)換操作 146
6.2.3 DStream窗口操作 148
6.2.4 DStream輸出操作 151
任務(wù)6.3 Spark Streaming實時更新熱門博文 155
6.3.1 Spark Streaming輸入數(shù)據(jù)源 155
6.3.2 Spark Streaming計算網(wǎng)頁熱度 158
6.3.3 網(wǎng)頁熱度輸出 158
6.3.4 任務(wù)實現(xiàn) 159
小結(jié) 161
實訓(xùn) 161
實訓(xùn)1 過濾打印包含單詞error的記錄 162
實訓(xùn)2 實時過濾歌曲播放次數(shù)超過100次的記錄并存儲在HDFS上 162
課后習(xí)題 162
第7章 Spark GraphX：圖計算框架 165
任務(wù)7.1 認(rèn)識Spark GraphX 166
7.1.1 圖的基本概念 166
7.1.2 圖計算的應(yīng)用 167
7.1.3 GraphX的基礎(chǔ)概念 168
7.1.4 GraphX的發(fā)展 168
任務(wù)7.2 了解GraphX常用API 169
7.2.1 圖的創(chuàng)建與存儲 169
7.2.2 數(shù)據(jù)查詢與數(shù)據(jù)轉(zhuǎn)換 174
7.2.3 結(jié)構(gòu)轉(zhuǎn)換與關(guān)聯(lián)聚合 180
任務(wù)7.3 構(gòu)建信任網(wǎng)絡(luò)并找出目標(biāo)用戶 187
7.3.1 構(gòu)建網(wǎng)站信任網(wǎng)絡(luò) 188
7.3.2 找出需要支付稿酬的用戶 188
7.3.3 找出進(jìn)入熱門榜的用戶 189
小結(jié) 191
實訓(xùn) 191
實訓(xùn)1 使用PageRank算法完成網(wǎng)頁排名 191
實訓(xùn)2 利用二度關(guān)系完成商品推薦 192
課后習(xí)題 194
第8章 Spark MLlib：功能強(qiáng)大的算法庫 196
任務(wù)8.1 了解MLlib算法庫 197
8.1.1 機(jī)器學(xué)習(xí)簡介 197
8.1.2 MLlib介紹 198
任務(wù)8.2 以Logistic回歸實現(xiàn)用戶分類 212
8.2.1 分析思路 212
8.2.2 數(shù)據(jù)處理 213
8.2.3 MLlib實現(xiàn)Logistic回歸 215
8.2.4 任務(wù)實現(xiàn) 217
小結(jié) 221
實訓(xùn) 221
實訓(xùn)1 通過KMeans定位商圈 221
實訓(xùn)2 樸素貝葉斯進(jìn)行文本分類 222
課后習(xí)題 223
第9章 項目案例：餐飲平臺菜品智能推薦 226
任務(wù)9.1 推薦方案設(shè)計 227
9.1.1 用戶數(shù)據(jù)分析 227
9.1.2 常用推薦算法 229
9.1.3 推薦流程設(shè)計 231
任務(wù)9.2 數(shù)據(jù)預(yù)處理 232
9.2.1 原始數(shù)據(jù)探索分析 233
9.2.2 異常數(shù)據(jù)處理 237
9.2.3 數(shù)據(jù)變換處理 237
9.2.4 數(shù)據(jù)集分割 239
任務(wù)9.3 建立推薦模型 240
9.3.1 以基于用戶的協(xié)同過濾算法建模 240
9.3.2 以基于物品的協(xié)同過濾算法建模 243
9.3.3 以基于Spark ALS的協(xié)同過濾算法建立模型 246
9.3.4 推薦模型的評測 251
任務(wù)9.4 使用模型進(jìn)行菜品推薦 262
9.4.1 對某用戶推薦10道新菜品 262
9.4.2 對所有用戶進(jìn)行新菜品推薦 267
小結(jié) 272
新書資訊