Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用
定 價(jià):¥79.8
中 教 價(jià):¥66.23 (8.30折)
庫 存 數(shù): 1
本書是為所有熱愛大數(shù)據(jù)、打算從事大數(shù)據(jù)相關(guān)工作的讀者編寫的,適合有Java編程基礎(chǔ)的學(xué)習(xí)者參考使用。本書全面介紹了大數(shù)據(jù)技術(shù)生態(tài)圈,更在此基礎(chǔ)上全景展現(xiàn)了Hadoop大數(shù)據(jù)分布式系統(tǒng)集群平臺的搭建、大數(shù)據(jù)分布式文件系統(tǒng)HDFS、大數(shù)據(jù)分布式并行計(jì)算框架MapReduce、Hadoop大數(shù)據(jù)倉庫工具Hive和海量日志采集工具Flume等大數(shù)據(jù)實(shí)用技術(shù)。本書通俗易懂、結(jié)構(gòu)清晰,著重于分析解決問題的思路和具體實(shí)施過程。本書適合作為高等院校計(jì)算機(jī)相關(guān)專業(yè)的程序設(shè)計(jì)教材,也可作為Hadoop技術(shù)的培訓(xùn)圖書。
(1)重點(diǎn)突出,理論與實(shí)踐結(jié)合,適合教學(xué)使用。(2)內(nèi)容結(jié)構(gòu)完整,可循序漸進(jìn)地教學(xué)。
(3)以圖文并茂的方式展示了大數(shù)據(jù)應(yīng)用程序的設(shè)計(jì)與實(shí)現(xiàn)過程。
隨著互聯(lián)網(wǎng)的高速發(fā)展,使用網(wǎng)絡(luò)的用戶越來越多,人們在使用網(wǎng)絡(luò)的過程中產(chǎn)生了數(shù)量龐大的數(shù)據(jù),這些數(shù)據(jù)極具商業(yè)價(jià)值,所以對這些數(shù)據(jù)的有效存儲(chǔ)、管理、計(jì)算分析和應(yīng)用就成為信息行業(yè)迫切需要解決的問題。大數(shù)據(jù)技術(shù)就是基于這種數(shù)據(jù)爆炸的現(xiàn)狀產(chǎn)生的。那到底怎樣才能解決海量數(shù)據(jù)的存儲(chǔ)和計(jì)算分析等問題呢?Hadoop應(yīng)運(yùn)而生了。Hadoop是一個(gè)能夠?qū)A繑?shù)據(jù)進(jìn)行分布式處理的軟件框架,它以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理,用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop 設(shè)計(jì)之初的目標(biāo)就定位于高可靠性、高可拓展性、高容錯(cuò)性和高效性,正是這些設(shè)計(jì)上與生俱來的優(yōu)點(diǎn),才使得Hadoop一出現(xiàn)就受到眾多大公司的青睞,在互聯(lián)網(wǎng)領(lǐng)域得到了廣泛運(yùn)用。本書采用理論 實(shí)戰(zhàn)的形式編寫,不但全面介紹了大數(shù)據(jù)技術(shù)生態(tài)圈,更在此基礎(chǔ)上全景展現(xiàn)了Hadoop大數(shù)據(jù)分布式系統(tǒng)集群平臺的搭建、大數(shù)據(jù)分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)、大數(shù)據(jù)分布式并行計(jì)算框架MapReduce、Hadoop大數(shù)據(jù)倉庫工具Hive和海量日志采集工具Flume等大數(shù)據(jù)實(shí)用技術(shù),后通過一個(gè)完整的Hive數(shù)據(jù)倉庫項(xiàng)目,深入講解了大數(shù)據(jù)技術(shù)在實(shí)際工作中的應(yīng)用。本書通俗易懂、結(jié)構(gòu)清晰,內(nèi)容層層遞進(jìn),理論與實(shí)踐相結(jié)合,著重于分析解決問題的思路和具體實(shí)施過程。書中包含大量的案例講解和練習(xí),通過從案例需求到案例實(shí)現(xiàn)這一完整流程的體驗(yàn),可以幫助讀者真正理解與消化Hadoop大數(shù)據(jù)技術(shù)。書中案例全部源于企業(yè)真實(shí)項(xiàng)目,可操作性強(qiáng),可輕松引導(dǎo)讀者融會(huì)貫通相關(guān)技術(shù)。本書特色:(1)重點(diǎn)突出,理論與實(shí)踐結(jié)合,適合教學(xué)使用。(2)內(nèi)容結(jié)構(gòu)完整,可循序漸進(jìn)地教學(xué)。(3)以圖文并茂的方式展示了大數(shù)據(jù)應(yīng)用程序的設(shè)計(jì)與實(shí)現(xiàn)過程。另外,本書配套資源豐富,掃描書中二維碼除了可以得到相應(yīng)的程序源代碼、教學(xué)PPT、課后練習(xí)之外,更有海量教學(xué)視頻。視頻囊括了書中介紹的所有內(nèi)容,所有的實(shí)踐案例也通過教學(xué)視頻加以講解,內(nèi)容充實(shí)。后,本書的附錄中還介紹了一個(gè)使用可視化在線云開發(fā)平臺道捷實(shí)訓(xùn)云平臺(www.yun.51dcool.com)完成的項(xiàng)目,該項(xiàng)目直接使用道捷實(shí)訓(xùn)云模擬的分布式物理集群,計(jì)算每個(gè)學(xué)生相應(yīng)科目的平均分,然后將同一個(gè)科目的成績放在一個(gè)文件中,并按照平均分從高到低排序,省去了我們自己搭建大數(shù)據(jù)集群的時(shí)間,極大地提高了工作效率。本書是為所有熱愛大數(shù)據(jù)、打算從事大數(shù)據(jù)相關(guān)工作的讀者編寫的,適合有Java編程基礎(chǔ)的學(xué)習(xí)者參考使用,也適合作為高等院校、培訓(xùn)機(jī)構(gòu)的大數(shù)據(jù)技術(shù)教材。由于時(shí)間倉促,編者水平有限,書中難免有疏漏之處,敬請讀者批評指正!
編 者 2021年2月
智酷道捷是中關(guān)村智酷雙創(chuàng)人才服務(wù)股份有限公司下屬高科技教育企業(yè)。旨在打造產(chǎn)、學(xué)、研、用雙創(chuàng)一 體化深度融合的智能化泛 IT 產(chǎn)教綜合服務(wù)平臺。是一家專注于面向 高校提供產(chǎn)、學(xué)、研、用一體化雙創(chuàng)實(shí)踐性教學(xué)解決方案,面向 高新技術(shù)職業(yè)技能持續(xù)培育的創(chuàng)新型科技教育企業(yè)。公司專注于前沿 技術(shù)基于云計(jì)算、大數(shù)據(jù)、以及智能化控制等高新技術(shù)開發(fā)的全新資源與服務(wù)平臺。公司借鑒發(fā)達(dá)國家先進(jìn)的技術(shù)應(yīng)用教學(xué)經(jīng)驗(yàn)并結(jié)合中國國情,創(chuàng)新提出雙創(chuàng)雙元、雙元雙通理論模型,通過工程實(shí)踐中心這一創(chuàng)新載體,整合高校教育與產(chǎn)業(yè)實(shí)踐應(yīng)用,基于云平臺的大數(shù)據(jù)反饋和自適應(yīng)機(jī)制,打造形成以產(chǎn)業(yè)應(yīng)用需求為引領(lǐng),以崗位技能能力圖表為核心線索的智能化課程研發(fā)體系,將產(chǎn)業(yè)應(yīng)用需求、高校教育過程以及課程研發(fā)機(jī)制、產(chǎn)教協(xié)同育人進(jìn)行一體化聯(lián)動(dòng)和融合,實(shí)現(xiàn)雙創(chuàng)實(shí)踐性應(yīng)用人才智能化、生態(tài)化、個(gè)性化、本地化培育,為地方企業(yè)和高校提供優(yōu)質(zhì)的實(shí)踐性課程與人才服務(wù)。
第1章 初識Hadoop及HDFS分布式系統(tǒng)11.1 初識Hadoop11.1.1大數(shù)據(jù)概述11.1.2大數(shù)據(jù)技術(shù)21.1.3Hadoop簡介31.2 分布式文件系統(tǒng)(HDFS)61.2.1分布式文件系統(tǒng)61.2.2HDFS的定義71.3 Hadoop偽分布式環(huán)境搭建121.3.1Hadoop安裝的三種模式 121.3.2搭建的準(zhǔn)備工作 121.3.3Hadoop相關(guān)配置121.3.4啟動(dòng)Hadoop131.4 HDFS常用命令與應(yīng)用131.4.1HDFS命令行基本操作 131.4.2HDFS Java API的核心類和接口211.4.3基于Java API的編程實(shí)例 21小結(jié)55習(xí)題55第2章 分布式協(xié)調(diào)服務(wù)ZooKeeper和HDFS高可用性562.1 ZooKeeper的作用和基本概念562.1.1分布式應(yīng)用概述562.1.2分布式應(yīng)用的優(yōu)缺點(diǎn)572.1.3ZooKeeper 的概念和特點(diǎn)582.1.4ZooKeeper 的主要應(yīng)用582.1.5ZooKeeper的架構(gòu)582.1.6數(shù)據(jù)模型與層次命名空間592.1.7Znode的類型592.2 ZooKeeper集群的搭建602.3 ZooKeeper操作與API編程692.3.1服務(wù)端常用命令 692.3.2客戶端連接ZooKeeper的相關(guān)操作702.3.3使用Java API訪問ZooKeeper752.3.4使用Java API編程入門案例752.3.5使用Java API編程官方案例解讀932.4 ZooKeeper原理分析1052.4.1一致性協(xié)議Zab協(xié)議1052.4.2Leader選舉1062.5 高可用1082.6 HDFS緩存1082.7 HDFS完全分布式搭建1152.8 HDFS高可用架構(gòu)搭建1162.8.1HDFS的基本架構(gòu)1162.8.2HDFS高可用架構(gòu)1162.8.3高可用架構(gòu)搭建思路117小結(jié)118習(xí)題118第3章 分布式并行計(jì)