xxxfreesexmoves-haodiaocao这里只有精品视频-欧美性受黑人性爽-欧美性受xxxxxx黑人xyx性爽|www.jsyyzsb.com

本書共11章，從Hadoop概述開(kāi)始，介紹Hadoop的安裝、配置與管理，并對(duì)Hadoop的生態(tài)體系架構(gòu)進(jìn)行介紹，包括HDFS技術(shù)、YARN技術(shù)、MapReduce技術(shù)、Hadoop I/O操作、海量數(shù)據(jù)庫(kù)技術(shù)HBase、ZooKeeper技術(shù)、分布式數(shù)據(jù)倉(cāng)庫(kù)技術(shù)Hive，以及Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop，最后對(duì)大數(shù)據(jù)實(shí)時(shí)處理技術(shù)進(jìn)行介紹，旨在讓讀者了解當(dāng)前其他的大數(shù)據(jù)處理技術(shù)。本書還包括豐富的實(shí)踐操作，實(shí)現(xiàn)理論與實(shí)踐的有機(jī)結(jié)合。

本書除介紹Hadoop的理論外，還介紹如何使用各組件，但因?yàn)橹唤榻B基礎(chǔ)的使用方法，沒(méi)有涉及底層的高級(jí)內(nèi)容，所以本書只起引導(dǎo)作用。本書旨在讓讀者了解Hadoop并能夠使用Hadoop的基本功能，并不是學(xué)習(xí)Hadoop的完整手冊(cè)。

本書適合作為高等院校和職業(yè)院校大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算及其他計(jì)算機(jī)相關(guān)專業(yè)的教材，也可供云計(jì)算與大數(shù)據(jù)技術(shù)相關(guān)專業(yè)的培訓(xùn)班使用。

1.立德樹(shù)人，深刻領(lǐng)會(huì)二十大精神

2.附有習(xí)題，以及實(shí)踐性較強(qiáng)的實(shí)訓(xùn)，鞏固所學(xué)知識(shí)

3.側(cè)重應(yīng)用能力的培養(yǎng)，對(duì)學(xué)生起到一個(gè)引導(dǎo)作用

4.配備了PPT課件、源代碼、習(xí)題答案、微課等豐富的教學(xué)資源

安俊秀，教授，成都信息工程大學(xué)教師。2004年7月從西安交通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)畢業(yè)，獲工學(xué)碩士學(xué)位。中國(guó)計(jì)算機(jī)學(xué)會(huì)高級(jí)會(huì)員；中國(guó)電子學(xué)會(huì)高級(jí)會(huì)員；成都市科技攻關(guān)計(jì)劃評(píng)審專家；成都軍區(qū)項(xiàng)目評(píng)審專家；汕尾市科技顧問(wèn)團(tuán)首席顧問(wèn)。 在教學(xué)上，嚴(yán)格要求自己，勤奮鉆研、不斷提升教學(xué)水平，給更多學(xué)生以幫助和愛(ài)護(hù)。于1993年畢業(yè)進(jìn)入山西大學(xué)商務(wù)學(xué)院任教，2006年底調(diào)入成都信息工程大學(xué)任教。最近三年，先后承擔(dān)了《Linux體系和編程》、《軟件項(xiàng)目管理》、《工程導(dǎo)論》、《計(jì)算機(jī)組成原理》等本科課程；承擔(dān)了《云計(jì)算與大數(shù)據(jù)》、《并行計(jì)算》、《Hadoop處理技術(shù)》等研究生課程，學(xué)校考核均為優(yōu)。 在科研工作方面，一直從事云計(jì)算與大數(shù)據(jù)、信息智能搜索與計(jì)算社會(huì)方面的研究工作。近三年發(fā)表論文20余篇，其中第一作者10余篇，核心期刊以上占5篇。獨(dú)立完成專著1部，編著教材1部和參與編著教材1部，主編教材1部。獲得國(guó)家發(fā)明專利2項(xiàng)（2014授權(quán)），實(shí)用新型專利授權(quán)12項(xiàng)。獲得軟件著作權(quán)13項(xiàng)。科研項(xiàng)目10項(xiàng)。2015年獲四川省社科高水平研究團(tuán)隊(duì)稱號(hào)。

目錄



第　1章

Hadoop概述　1

1.1　Hadoop簡(jiǎn)介　1

1.2　Hadoop體系架構(gòu)　3

1.2.1　Hadoop基礎(chǔ)架構(gòu)　3

1.2.2　Hadoop生態(tài)系統(tǒng)　3

1.3　Hadoop與分布式開(kāi)發(fā)　5

1.4　Hadoop行業(yè)應(yīng)用案例分析　6

1.4.1　Hadoop在門戶網(wǎng)站中的應(yīng)用　6

1.4.2　Hadoop在搜索引擎中的應(yīng)用　7

1.4.3　Hadoop在電商平臺(tái)中的應(yīng)用　7

習(xí)題　8



第　2章

Hadoop的安裝、配置與

管理　9

2.1　實(shí)驗(yàn)準(zhǔn)備　9

2.2　配置一個(gè)單節(jié)點(diǎn)環(huán)境　10

2.2.1　運(yùn)行一個(gè)虛擬環(huán)境CentOS　10

2.2.2　配置網(wǎng)絡(luò)　11

2.2.3　創(chuàng)建新的用戶組和用戶　15

2.2.4　上傳文件到CentOS并配置

Java和Hadoop環(huán)境　16

2.2.5　修改Hadoop 3.2配置文件　19

2.2.6　修改CentOS主機(jī)名　22

2.2.7　綁定hostname與IP地址　22

2.2.8　關(guān)閉防火墻　23

2.3　節(jié)點(diǎn)之間的免密碼登錄　23

2.3.1　什么是SSH　23

2.3.2　復(fù)制虛擬機(jī)節(jié)點(diǎn)　24

2.3.3　配置SSH免密碼登錄　25

2.4　Hadoop的啟動(dòng)和測(cè)試　27

2.4.1　格式化文件系統(tǒng)　27

2.4.2　啟動(dòng)HDFS　28

2.4.3　啟動(dòng)YARN　29

2.4.4　啟動(dòng)JobHistory Server　29

2.4.5　集群驗(yàn)證　30

2.4.6　需要了解的默認(rèn)配置　31

2.5　動(dòng)態(tài)管理節(jié)點(diǎn)　32

2.5.1　動(dòng)態(tài)增加和刪除DataNode　32

2.5.2　動(dòng)態(tài)修改TaskTracker　33

習(xí)題　34



第3章

HDFS技術(shù)　36

3.1　HDFS的特點(diǎn)　36

3.2　HDFS架構(gòu)　37

3.2.1　數(shù)據(jù)塊　38

3.2.2　NameNode與DataNode　39

3.2.3　輔助NameNode　40

3.2.4　安全模式與負(fù)載均衡　42

3.2.5　垃圾回收　43

3.3　HDFS Shell命令　44

3.3.1　文件處理命令　44

3.3.2　交互式命令　49

3.4　HDFS中Java API的使用　53

3.4.1　上傳文件　54

3.4.2　新建文件　55

3.4.3　查看文件詳細(xì)信息　56

3.4.4　下載文件　57

3.5　RPC通信　58

3.5.1　反射機(jī)制　59

3.5.2　代理模式與動(dòng)態(tài)代理　62

3.5.3　Hadoop RPC機(jī)制與源碼

分析　64

習(xí)題　68



第4章

YARN技術(shù)　69

4.1　YARN概述　69

4.1.1　YARN產(chǎn)生背景MRv1的

局限性　69

4.1.2　YARN的通信協(xié)議　70

4.2　YARN基本框架　71

4.3　YARN資源調(diào)度器　73

4.4　YARN的工作流程　74

4.5　YARN的實(shí)戰(zhàn)案例　76

習(xí)題　79



第5章

MapReduce技術(shù)　80

5.1　什么是MapReduce　80

5.2　MapReduce編程模型　81

5.2.1　MapReduce模型簡(jiǎn)介　81

5.2.2　MapReduce模型分類　82

5.2.3　MapReduce編程實(shí)例

WordCount　83

5.3　MapReduce數(shù)據(jù)流　84

5.3.1　分片并格式化原始數(shù)據(jù)

（InputFormat）　84

5.3.2　Map過(guò)程　86

5.3.3　Shuffle過(guò)程　86

5.3.4　Reduce過(guò)程　91

5.3.5　按指定格式寫入文件

（OutputFormat）　92

5.4　MapReduce任務(wù)流程　92

5.5　MapReduce的Streaming和

Pipe　93

5.5.1　Hadoop Streaming　93

5.5.2　Hadoop Pipe　95

5.6　MapReduce性能調(diào)優(yōu)　96

5.7　MapReduce實(shí)戰(zhàn)　98

5.7.1　快速入門　98

5.7.2　簡(jiǎn)單使用Eclipse插件　110

習(xí)題　118



第6章

Hadoop　I/O操作　119

6.1　HDFS數(shù)據(jù)完整性　119

6.1.1　校驗(yàn)和　119

6.1.2　運(yùn)行后臺(tái)進(jìn)程來(lái)檢測(cè)數(shù)據(jù)塊　120

6.2　基于文件的數(shù)據(jù)結(jié)構(gòu)　121

6.2.1　SequenceFile的存儲(chǔ)　121

6.2.2　MapFile的存儲(chǔ)　125

6.2.3　SequenceFile轉(zhuǎn)換為

MapFile　128

6.3　壓縮　129

6.3.1　認(rèn)識(shí)壓縮　129

6.3.2　Codec　130

6.3.3　本地庫(kù)　132

6.3.4　如何選擇壓縮格式　133

6.4　序列化　134

6.4.1　認(rèn)識(shí)序列化　134

6.4.2　Writable接口　135

6.4.3　WritableComparable接口　136

6.4.4　Hadoop Writable基本類型　137

6.4.5　自定義Writable類型　142

習(xí)題　144



第7章

海量數(shù)據(jù)庫(kù)技術(shù)HBase　145

7.1　初識(shí)HBase　145

7.2　HBase表視圖　146

7.2.1　概念視圖　146

7.2.2　物理視圖　147

7.3　HBase物理存儲(chǔ)模型　148

7.4　安裝HBase　154

7.4.1　HBase單節(jié)點(diǎn)安裝　154

7.4.2　HBase偽分布式安裝　157

7.4.3　HBase完全分布式安裝　158

7.5　HBase Shell　160

7.5.1　HBase Shell的命令　160

7.5.2　general操作　162

7.5.3　DDL操作　163

7.5.4　DML操作　165

7.6　HBase操作實(shí)踐　167

習(xí)題　170



第8章

ZooKeeper技術(shù)　171

8.1　分布式協(xié)調(diào)技術(shù)及其實(shí)現(xiàn)者　171

8.2　ZooKeeper基本架構(gòu)　172

8.3　ZooKeeper數(shù)據(jù)模型　173

8.3.1　Znode　173

8.3.2　ZooKeeper中的時(shí)間　174

8.3.3　Znode屬性　175

8.3.4　watch觸發(fā)器　176

8.4　ZooKeeper集群安裝　177

8.5　ZooKeeper的主要Shell

操作　179

8.6　典型應(yīng)用場(chǎng)景　180

8.6.1　數(shù)據(jù)發(fā)布與訂閱　180

8.6.2　統(tǒng)一命名服務(wù)　182

8.6.3　分布式通知/協(xié)調(diào)　182

習(xí)題　183



第9章

分布式數(shù)據(jù)倉(cāng)庫(kù)技術(shù)Hive　184

9.1　Hive出現(xiàn)的原因　184

9.2　Hive服務(wù)的組成　185

9.3　Hive的安裝　186

9.3.1　Hive基本安裝　186

9.3.2　MySQL的安裝　187

9.3.3　Hive的配置　188

9.4　Hive Shell　191

9.5　HQL的概念和使用　192

9.5.1　認(rèn)識(shí)HQL　192

9.5.2　Hive管理數(shù)據(jù)方式　192

9.5.3　Hive表的DDL操作　194

9.5.4　Hive表的DML操作　203

9.6　使用Hive實(shí)現(xiàn)聊天數(shù)據(jù)分析

案例　207

習(xí)題　210



第　10章

Hadoop與RDBMS數(shù)據(jù)遷移

工具Sqoop　211

10.1　Sqoop簡(jiǎn)介及基本安裝　211

10.2　Sqoop的配置　212

10.3　Sqoop的相關(guān)功能　213

10.3.1　Sqoop的工具命令　213

10.3.2　Sqoop與MySQL　214

10.3.3　sqoop-import操作　215

10.3.4　sqoop-import-all-tables

操作　220

10.3.5　sqoop-export操作　222

10.3.6　sqoop-list-databases和

sqoop-list-tables操作　224

10.4　Hive、Pig和Sqoop三者之間

的關(guān)系　224

10.5　基于Sqoop的MySQL和Hive

之間的數(shù)據(jù)遷移實(shí)操案例　225

習(xí)題　228



第　11章

大數(shù)據(jù)實(shí)時(shí)處理技術(shù)　229

11.1　Flink　229

11.1.1　Flink架構(gòu)　230

11.1.2　Flink部署　231

11.1.3　Flink的運(yùn)行架構(gòu)　235

11.1.4　Flink流處理API　238

11.2　Spark　239

11.2.1　Apache Spark架構(gòu)　239

11.2.2　Apache Spark的擴(kuò)展

功能　241

11.3　Flink與Spark異同　243

習(xí)題　244