本書是云計算與大數據技術教程的項目化教材,全書共11章,設計了6項主任務、34項子任務。以搭建云計算平臺流程組織實訓內容,全面介紹了CentOS操作系統的安裝及網絡配置方法、虛擬化技術KVM的使用、MPI的安裝與部署、分布式處理系統Hadoop軟件的編譯、安裝及部署、Hbase數據庫的安裝與配置以及大數據流處理系統Storm的安裝與部署。本書突出上機操作,圖文并茂且條理分明,實驗豐富,把實驗內容與課程教學相結合,有利于培養學生在“做中學,學而會,會且熟”的學習能力。
十二五規劃教材配套教材 通過實戰來深入了解云計算和大數據技術本書以11個實訓項目為主線,從基礎入手,認真規劃和組織教材內容,涵蓋了CentOS操作系統、CentOS網絡配置、虛擬化技術、MPI、Hadoop、HBase、Storm等云計算與大數據技術的基礎主流應用技術。每個實訓項目又細化成若干個任務,環環相扣,前后銜接。每個任務均詳細介紹了相關知識、任務內容和操作步驟,讓讀者在閱讀過程中思路非常清楚。本書圖文并茂、內容詳實、操作性強,每個任務都經過反復驗證。我們把操作步驟中的大部分原始圖片和操作命令保留在了教材中,使讀者能準確掌握操作步驟,引導學生主動學習、高效學習,讓學生在完成任務后提升操作技能、增長知識、學以致用。
王鵬,教授,博士生導師,計算機科學博士后、金融工程博士后,四川省學術和技術帶頭人后備人選,廣東省高教學會高職高專云計算與大數據教學專業委員會理事長,中國電子學會云計算專業委員會委員,中國計算機學會高性能計算專業委員會委員,四川省計算機學會高性能計算專業委員會副主任委員,出版專著9本,主持完成了國家自然科學基金等項目20余項。
目錄 CONTENTS
第1章搭建CentOS服務器 1
1.1任務一 CentOS安裝 1
1.2任務二用戶登錄 12
1.3本章小結 15
第2章CentOS網絡管理 16
2.1任務一網絡配置 16
2.2任務二更改以太網卡名稱 25
2.3任務三關閉安全設置 27
2.4本章小結 28
第3章虛擬化技術 29
3.1任務一配置虛擬化網絡 29
3.2任務二安裝虛擬化軟件包 32
3.3任務三虛擬系統管理器的使用 38
3.4任務四虛擬機的運行與遠程訪問 44
3.5任務五使用virsh-install安裝虛擬機 52
3.6任務六使用virsh-clone克隆虛擬機 54
3.7任務七 virsh命令的使用 56
3.8本章小結 59
第4章 MPI—面向計算的集群技術 60
4.1任務一配置ssh實現節點間無密碼訪問 60
4.2任務二網絡文件系統NFS 64
4.3任務三 MPICH編譯運行 67
4.4本章小結 73
第5章 MPI分布式程序設計基礎 74
5.1任務一*簡單的并行程序 74
5.2任務二獲取進程標志和機器名的并行程序的編寫 76
5.3任務三有消息傳遞功能的并行程序的編寫 77
5.4本章小節 81
第6章 Hadoop軟件的編譯打包 82
6.1任務一安裝編譯環境 82
6.2任務二編譯Hadoop軟件 86
6.3本章小結 88
第7章 Hadoop環境的搭建與管理 89
7.1任務一 Hadoop的安裝與配置 89
7.2任務二 Hadoop的管理 95
7.3任務三 Hadoop Shell命令 100
7.4本章小結 103
第8章 Map/Reduce實例 104
8.1任務一實現Map/Reduce的C語言實例 104
8.2任務二安裝Eclipse開發工具 107
8.3任務三 Map/Reduce項目 110
8.4本章小結 121
第9章 HBase分布式數據庫 122
9.1任務一 HBase的安裝與配置 122
9.2任務二 HBase管理與HBase Shell 126
9.3本章小結 131
第10章 Storm環境的搭建與管理 132
10.1任務一 Storm的安裝與配置 133
10.2任務二 Storm的管理 142
10.3本章小結 148
第11章 Storm拓撲實例 149
11.1任務一實例Storm-Starter 149
11.2任務二 Eclipse管理Storm-Starter 154
11.3任務三編寫拓撲實現單詞計數 163
11.4任務四實現對文件單詞計數 173
11.5本章小結 184
?