xxxfreesexmoves-haodiaocao这里只有精品视频-欧美性受黑人性爽-欧美性受xxxxxx黑人xyx性爽|www.jsyyzsb.com

本書是一本全面介紹Spark以及Spark生態(tài)系統(tǒng)相關(guān)技術(shù)的書籍。主要內(nèi)容包括Spark系統(tǒng)概述、Spark安裝和集群的部署、RDD的編程實(shí)踐、Spark的運(yùn)行模式、Spark的運(yùn)行機(jī)制以及Spark的四大子框架（Spark SQL、Spark Streaming、Spark GraphX、MLlib）的詳細(xì)講解。本書通過理論和實(shí)踐相結(jié)合的方式對Spark的核心框架和生態(tài)圈做了詳細(xì)的解讀，不僅對Spark的原理進(jìn)行詳細(xì)闡述，還結(jié)合Spark的源碼和案例操作展示了Spark框架的所具有的優(yōu)雅和豐富的表現(xiàn)力。本書適合大數(shù)據(jù)從業(yè)者、Spark技術(shù)愛好者閱讀。相信通過學(xué)習(xí)本書，讀者能夠熟悉和掌握Spark這一當(dāng)前流行的大數(shù)據(jù)計(jì)算框架，并將其投入到實(shí)踐中去。

大數(shù)據(jù)培訓(xùn)名師、Spark大數(shù)據(jù)暢銷書《大數(shù)據(jù)Spark企業(yè)級實(shí)戰(zhàn)》作者王家林新作。內(nèi)容全面覆蓋Spark技術(shù)及其生態(tài)系統(tǒng)，通過源碼分析詳解Spark四大子框架。秉承“實(shí)戰(zhàn)”類圖書特點(diǎn)，解析大量代碼的編寫操作，具有較強(qiáng)的可操作性，便于讀者學(xué)習(xí)和理解。

第1章Spark系統(tǒng)概述11Spark是什么12Spark生態(tài)系統(tǒng)BDAS121Spark Core122Spark SQL123Spark Streaming124Spark GraphX125MLlib126Tachyon127BlinkDB思考題第2章Spark安裝和集群部署21搭建Hadoop分布式集群211安裝VMware虛擬機(jī)212安裝Ubuntu的鏡像文件213安裝JDK214搭建另外兩臺Ubuntu系統(tǒng)并配置SSH免密碼登錄215安裝Hadoop和搭建Hadoop分布式集群22Spark安裝和集群部署221安裝Scala222安裝Spark和集群部署23測試Spark集群231通過Spark提供的示例LocalPi測試Spark集群232通過Spark Shell測試Spark集群思考題第3章Spark RDD與Spark API編程實(shí)踐31RDD介紹311RDD是Spark的核心抽象312RDD的特征32RDD的操作分類321輸入操作322轉(zhuǎn)換操作323行動(dòng)操作324控制操作33Spark Shell下的Spark API編程實(shí)踐331Local模式下實(shí)踐map、filter和collect方法332集群模式下實(shí)踐textFile、sortByKey和 saveAstextFile方法333集群模式下實(shí)踐union、join、reduce和lookup方法334搜狗日志數(shù)據(jù)分析實(shí)踐34基于IntelliJ IDEA使用Spark API開發(fā)應(yīng)用程序341搭建和設(shè)置IntelliJ IDEA開發(fā)環(huán)境342在IntelliJ IDEA下開發(fā)并部署Spark應(yīng)用程序343使用SBT編譯Spark應(yīng)用程序344使用Maven構(gòu)建Spark應(yīng)用程序345Spark工具思考題第4章Spark的運(yùn)行模式41Spark的運(yùn)行模式概覽411Spark的基本工作流程412Spark應(yīng)用程序部署42Local模式421Local模式實(shí)例部署及運(yùn)行演示422Local模式內(nèi)部實(shí)現(xiàn)原理43Standalone模式431Standalone模式實(shí)例部署及運(yùn)行演示432Standalone模式內(nèi)部實(shí)現(xiàn)原理44Yarn-Cluster模式441Yarn-Cluster模式實(shí)例部署及運(yùn)行演示442Yarn-Cluster模式內(nèi)部實(shí)現(xiàn)原理45Yarn-Client模式451Yarn-Client模式實(shí)例部署及運(yùn)行演示452Yarn-Client模式內(nèi)部實(shí)現(xiàn)原理46Mesos模式461Mesos模式實(shí)例部署及運(yùn)行演示462Mesos模式內(nèi)部實(shí)現(xiàn)原理思考題第5章Spark的運(yùn)行機(jī)制51Spark集群的架構(gòu)52Spark的作業(yè)和任務(wù)調(diào)度521Spark Application提交522作業(yè)（Job）提交523DAGScheduler劃分Stage并提交524TaskScheduler提交Task525Executor運(yùn)行Task并返回結(jié)果526Driver的處理53容錯(cuò)機(jī)制531Lineage機(jī)制532Checkpoint機(jī)制54Storage存儲模塊541Storage模塊整體架構(gòu)542緩存實(shí)現(xiàn)原理543緩存策略55Spark的消息傳遞機(jī)制Akka551Akka架構(gòu)解析552Akka驅(qū)動(dòng)下的start-allsh源碼解析56Shuffle機(jī)制561Shuffle的原理 562Shuffle的寫操作563Shuffle的讀操作57共享變量571廣播變量572累加器58Spark性能調(diào)優(yōu)581數(shù)據(jù)序列化582內(nèi)存優(yōu)化583其他優(yōu)化方法思考題第6章Spark SQL61Spark SQL原理和實(shí)現(xiàn)611Spark SQL簡介612Spark SQL運(yùn)行架構(gòu)613Hive在Spark上的使用614源碼解析SQL語句和HiveQL語句的執(zhí)行過程62Spark SQL的操作實(shí)例621文本文件操作以及DSL操作622Parquet文件以及JSON文件操作623Hive數(shù)據(jù)操作演示（訂單交易數(shù)據(jù)操作）624Spark SQL處理交通數(shù)據(jù)實(shí)戰(zhàn)思考題第7章Spark Streaming71Spark Streaming運(yùn)行原理711Spark Streaming簡介712編程模型DStream713容錯(cuò)和持久化714性能調(diào)優(yōu)715監(jiān)控應(yīng)用72源碼解析Spark Streaming的運(yùn)行過程721StreamingContext初始化并啟動(dòng)722數(shù)據(jù)接收723數(shù)據(jù)處理73Spark Streaming操作實(shí)例演示731文本數(shù)據(jù)操作實(shí)例演示732網(wǎng)絡(luò)數(shù)據(jù)操作實(shí)例——銷售模擬器演示733有狀態(tài)（Stateful）操作實(shí)例演示734Window操作實(shí)例演示735SparkStreaming處理多源數(shù)據(jù)實(shí)戰(zhàn)思考題第8章Spark GraphX81圖的定義和應(yīng)用811圖的定義812圖的應(yīng)用82Spark GraphX簡介821彈性分布式屬性圖822Spark GraphX圖的切分和存儲策略823Spark GraphX圖的操作83Spark GraphX架構(gòu)831Pregel圖計(jì)算框架832Spark GraphX的實(shí)現(xiàn)833Spark GraphX圖算法的實(shí)現(xiàn)方法84Spark GraphX圖操作實(shí)例841基于Spark GraphX的屬性圖的操作實(shí)例842Spark GraphX圖算法操作實(shí)例思考題第9章MLlib91機(jī)器學(xué)習(xí)簡介911機(jī)器學(xué)習(xí)的定義912機(jī)器學(xué)習(xí)的分類913機(jī)器學(xué)習(xí)的常用算法92MLlib的簡介921什么是MLlib922MLlib的架構(gòu)923MLlib的數(shù)據(jù)類型924MLlib的算法93MLlib常用算法操作實(shí)踐931K-Means算法解析和實(shí)踐932協(xié)同過濾算法分析和案例實(shí)踐思考題